NVIDIA โชว์เซิร์ฟเวอร์ NVIDIA GB200 NVL72 ตู้เดียวฝึก LLM ขนาด 1.8T ได้ในตัว ระบายความร้อนด้วยน้ำ

by lew
19 March 2024 - 00:56

NVIDIA โชว์เซิร์ฟเวอร์ของตัวเอง NVIDIA GB200 NVL72 โดยเน้นว่ามันมีพลังประมวลผลและแรมเพียงพอที่จะฝึกปัญญาประดิษฐ์ขนาด 1.8T ได้ในตัว

เซิร์ฟเวอร์นี้ขายเป็นตู้สำเร็จ โดยแต่จะโหนดในตู้ คือ GB200 compute tray ที่มีชิปซีพียู Grace สองชุด คู่กับ จีพียู Blackwell อีก 4 ตัว เชื่อมระบบระบายความร้อนด้วยน้ำ แต่ละโหนดมีพลังประมวลผล 80 petaflops และแรมอีก 1.7TB ในตัว การคอนฟิกตู้ ใส่ NVLink Switch System สำหรับเชื่อมแต่ละโหนดเข้าด้วยกัน โดยหนึ่งตู้ติดตั้ง compute tray 18 ชุด รวมเป็น GPU ทั้งหมด 72 ตัว

แม้จะโชว์ประสิทธิภาพด้าน LLM เป็นหลัก แต่ NVIDIA ก็ระบุว่าเครื่อง NVIDIA GB200 NVL72 ใช้งานเร่งความเร็วฐานข้อมูล หรือจำลองแบบทางฟิสิกส์ได้ด้วย เช่นการจำลอง computational fluid dynamics (CFD) เมื่อใช้ GB200 รันก็เร็วกว่าซีพียู x86 ถึง 22 เท่าตัว

ที่มา - NVIDIA

Blognone Jobs Premium