อินเทลโอเพนซอร์สไลบรารีเร่งการประมวลผล AI ด้วย NPU ในชิป Core Ultra

by mk
1 March 2024 - 23:47

อินเทลเปิดซอร์สโค้ด Intel NPU Acceleration Library ไลบรารีภาษา Python สำหรับเรียกใช้งาน Neural Processing Unit (NPU) ในซีพียูรุ่นใหม่ๆ ของอินเทล นับตั้งแต่ Core Ultra (Meteor Lake) เป็นต้นไป

โลกปี 2024 เราคงจะได้ยินการพูดถึงชิป NPU กันมากขึ้นเรื่อยๆ เพราะผู้ผลิตซีพียูทั้งอินเทลและเอเอ็มดีต่างเริ่มใส่ NPU เข้ามาแล้ว ผนวกกับการดันคำว่า AI PC ของไมโครซอฟท์ในฝั่งการตลาดต่างๆ

ไลบรารี NPU ของอินเทลจะรองรับฟีเจอร์พื้นฐานของงานประมวลผล AI เช่น การคำนวณด้วยฟอร์แมตทศนิยม Float16 (อนาคตจะมี BFloat16 ตามมา), การทำ 8-bit quantization, การปรับแต่งประสิทธิภาพสำหรับ PyTorch (torch.compile) ส่วนฟีเจอร์ในอนาคตจะรองรับการใช้ NPU ประมวลผลร่วมกับ GPU หรือการประมวลผลแบบ mixed precision ใช้ทศนิยมหลายระดับร่วมกัน เป็นต้น

ตอนนี้ไลบรารีตัวนี้ใช้งานได้แล้วบนวินโดวส์และลินุกซ์ (ยังรองรับเฉพาะ Ubuntu)

ที่มา - Intel GitHub, Phoronix

Blognone Jobs Premium