Cerebras Systems บริษัทผู้พัฒนาชิปประมวลผล AI ที่ก่อตั้งโดยอดีตพนักงาน AMD เปิดตัวชิปรุ่นใหม่ WSE-3 ที่มีจำนวนทรานซิสเตอร์มากถึง 4 ล้านล้านตัว, มีคอร์ประมวลผล AI จำนวน 9 แสนคอร์, แรม SRAM บนชิปขนาดใหญ่ 44GB, สมรรถนะประมวลผล AI 125 petaflops
ชิป Cerebras WSE-3 สามารถนำไปต่อกับหน่วยความจำภายนอกได้สูงสุด 1.3PB รองรับการเทรนโมเดลในอนาคตที่มีขนาดใหญ่กว่า GPT-4 หรือ Gemini ได้ 10 เท่า (โมเดลขนาด 24 ล้านล้านพารามิเตอร์ เก็บในหน่วยความจำผืนเดียวโดยไม่ต้องแบ่งส่วน)
คู่แข่งของ WSE-3 ย่อมเป็นชิป NVIDIA H100 ซึ่งเป็นชิปยอดนิยมของตลาด AI ณ เวลานี้ แนวทางของ Cerebras คือการสร้างชิปขนาดใหญ่กว่าจีพียูมากๆ แล้วใช้ชิปตัวเดียว แทนการนำจีพียูจำนวนมากๆ มาต่อกัน (พื้นที่ของชิป WSE-3 ใหญ่กว่า H100 ถึง 57 เท่า, คอร์เยอะกว่า 52 เท่า)
ชิป WSE-3 จะถูกนำไปใช้ในซูเปอร์คอมพิวเตอร์ Cerebras CS-3 ที่ต่อเชื่อมเป็นคลัสเตอร์ได้สูงสุด 2048 ตัว สามารถเทรนโมเดล Llama 70B เสร็จได้ภายในวันเดียว ตัวเครื่อง CS-3 ยังประหยัดพลังงาน โดยมีประสิทธิภาพเพิ่ม 2 เท่า เมื่อยังใช้พลังงานเท่ากับเครื่องรุ่นก่อน
ที่มา - Cerebras