Google Cloud เปิดตัวชิปประมวลผลปัญญาประดิษฐ์ Cloud TPU v5e เวอร์ชันใหม่ที่อัพเกรดจาก TPU v4 ซึ่งเริ่มใช้มาตั้งแต่ปี 2020
ตอนนี้ยังมีรายละเอียดของ TPU v5e ออกมาไม่มากนัก แต่มันเป็น TPU เวอร์ชันคัสตอม (ตัวท้าย e) ที่เน้นประสิทธิผลเรื่องต้นทุน (cost-efficiency) กว่า TPU รุ่นปกติ จากตัวเลขของกูเกิลระบุว่ามีประสิทธิภาพต่อดอลลาร์ในการเทรนโมเดล LLM ดีกว่า TPU v4 สูงสุดราว 2 เท่า และประสิทธิภาพต่อดอลลาร์ในการรันโมเดลดีกว่าสูงสุด 2.5 เท่า
นอกจากเรื่องต้นทุนแล้ว การเช่า TPU v5e บนคลาวด์กูเกิลเพื่อทำงาน AI ยังรองรับการรันบนชิประดับหลายหมื่นตัว ทะลุข้อจำกัดของ TPU v4 ที่รันได้สูงสุด 3,072 ตัว (slice vs multislice) ซึ่งเป็นเทคนิคที่กูเกิลใช้เทรนโมเดล PaLM มาก่อน ตอนนี้เปิดให้ลูกค้าภายนอกเช่าใช้งานแล้ว
TPU v5 ยังปรับแต่งมาสำหรับเฟรมเวิร์คยอดนิยม เช่น JAX, PyTorch, TensorFlow รวมถึงรองรับ PyTorch/XLA 2.1 เวอร์ชันหน้าด้วย
ส่วนคนที่ยังต้องการรันงานด้วยจีพียูแบบดั้งเดิม กูเกิลยังเปิดให้บริการ VM ประเภทใหม่ A3 ที่มีจีพียู NVIDIA H100 รุ่นใหม่ล่าสุดอย่างเป็นทางการ (GA) หลังจากเริ่มเปิดทดสอบมาตั้งแต่ช่วงเดือนมีนาคม
A3 VM ใช้ซีพียู Xeon Scalable Gen 4 สองตัว, จีพียู NVIDIA H100 จำนวน 8 ตัว, หน่วยความจำ 2TB ตัวอย่างลูกค้าที่นำไปรันงานจริงแล้วคือ Midjourney ที่บอกว่าเร็วกว่าการใช้จีพียู NVIDIA A100 รุ่นก่อนถึง 2 เท่า
ที่มา - Google