Meta ประกาศความสำเร็จในการสร้างซูเปอร์คอมพิวเตอร์ Research SuperCluster (RSC) เฟสที่สอง ที่เปิดตัวครั้งแรกต้นปี 2022 ตอนนี้มีสมรรถนะเกือบ 5 exaflops ถือเป็นซูเปอร์คอมพิวเตอร์อันดับหนึ่งของโลก (แชมป์ปัจจุบัน Frontier มีสมรรถนะ 1 exaflops)
สเปกเครื่องของ Research SuperCluster (RSC) ใช้เครื่อง NVIDIA DGX A100 จำนวน 2,000 เครื่อง นับจำนวน Tensor Core รวม 16,000 คอร์ เชื่อมต่อกันด้วย Quantum InfiniBand 16 Tb/s
ระบบสตอเรจใช้โซลูชันที่บริษัทพัฒนาเองเรียกว่า AI Research Store (AIRStore) โดยใช้ฮาร์ดแวร์จาก Penguin Computing และ Pure Storage ประกอบด้วยแคชขนาด 80PB และตัว bulk storage ขนาด 500PB, สมรรถนะ 16TB/s แต่ยังไม่มีรายละเอียดสถาปัตยกรรมเปิดเผยออกมา
หน้าที่ของ RSC คือการวิจัยด้าน AI ของบริษัท Meta ตัวอย่างคือโมเดลภาษาขนาดใหญ่ LLaMA, โมเดลแปลภาษา No Language Left Behind, โมเดลแปลภาษา Universal Speech Translator ซึ่งโมเดลขนาดใหญ่เหล่านี้ต้องใช้ทรัพยากรมหาศาลในการประมวลผล ตัวเลขของ Meta ระบุว่าสามารถลดเวลาเทรน LLaMA (1.4 ล้านล้าน tokens) ลงได้เหลือ 21 วัน, ลดเวลาเทรน No Language Left Behind จากเดิม 1 เดือนลงมาเหลือ 7-10 วัน
ที่มา - Meta