MLPerf ชุดทดสอบความสามารถคอมพิวเตอร์และการ์ดเร่งความเร็วสำหรับงานด้าน machine learning โดยเฉพาะ ออกผลทดสอบเวอร์ชั่น 4.1 ที่เน้นวัดความสามารถในการฝึกปัญญาประดิษฐ์กลุ่ม generative AI ทั้งการสร้างข้อความและภาพ โดยผลในรอบนี้มีผู้แข่งสำคัญเพียงสองราย คือ NVIDIA และ Google
NVIDIA โชว์ผลทดสอบการฝึก Llama 2 70B แบบ fine-tuning เซิร์ฟเวอร์ DGX B200 เครื่องเดียว ใช้การ์ด B200-SXM แรม 180GB จำนวน 8 ใบ พร้อมซีพียู Xeon Platinum 8570 สามารถฝึก Llama 2 70B ได้เสร็จใน 12.958 นาที เทียบกับ H200 ที่ใช้เวลาประมาณ 24 นาที ขณะที่การฝึก GPT3 สามารถใช้ DGX B200 จำนวน 8 เครื่องฝึกเสร็จใน 193.738 นาทีนับเป็นคลัสเตอร์ขนาดเล็กที่สุดในที่ส่งผลทดสอบนี้
Google โชว์ชิป TPU รุ่นที่ 6 ชื่อรุ่น Trillium โชว์จุดเด่นที่สุดคือต้นทุนการฝึกโมเดลถูกลงกว่า TPUv5p ถึง 45% แม้ว่าจะไม่ได้แสดงให้เห็นประสิทธิภาพการฝึกที่เร็วขึ้นตรงๆ ชัดเจนนัก โดยผลทดสอบ TPUv5p ใช้คลัสเตอร์การ์ดเร่งรวม 2048 ตัว ฝึก GPT3 เสร็จใน 29.616 นาที แต่ Trillium ขนาดเดียวกันฝึกเสร็จใน 27.330 นาที
ที่มา - MLCommons, NVIDIA, Google