AMD โอเพนซอร์สไลบรารี AITER เร่งความเร็ว LLM บน ROCm ได้เท่าตัว

AMD โอเพนซอร์สไลบรารี AI Tensor Engine for ROCm (AITER) ที่รวมเอาฟังก์ชั่นที่ปัญญาประดิษฐ์ต่างๆ ใช้งานบ่อย ให้ออปติไมซ์บน ROCm โดยเฉพาะ PyTorch ที่นิยมใช้งานกับปัญญาประดิษฐ์กลุ่ม LLM

กลุ่ม operator ที่ LLM ใช้งานสามารถรันได้เร็วขึ้นหลายเท่าตัว เช่น Mixture of Experts (MoE), การคูณแมตทริกซ์, Multi-Head Attention (MHA) ผลการทดสอบ DeepSeek-V3/R1 บนชิป MI300X สามารถรันเร็วขึ้นเทียบกับก่อนใช้ AITER ถึงเท่าตัว

ตอนนี้ซอฟต์แวร์รัน LLM เช่น vLLM และ SGLang รองรับ AITER แล้ว และทาง AMD ยืนยันว่าจะลงทุนพัฒนาเร่งความเร็วโหลดงาน AI บนชิป AMD เพิ่มเติมต่อไป

ที่มา - AMD