ไมโครซอฟท์รองรับการรัน DeepSeek-R1 แบบโลคอลบน NPU ใน Copilot+ PC

ไมโครซอฟท์ประกาศรองรับการรันโมเดล DeepSeek-R1 แบบกลั่นแล้ว (distilled) เหลือขนาดพารามิเตอร์ 1.5B, 7B และ 14B บนชิป NPU ของพีซีกลุ่ม Copilot+ PC ตามที่เคยประกาศไว้

ไมโครซอฟท์บอกว่าใช้เทคนิคหลายอย่าง เช่น 4-bit block wise quantization, QuaRot, ONNX QdQ เพื่อลดขนาดของโมเดลให้เล็กลง ซึ่งเป็นเทคนิคที่เริ่มใช้งานจากโมเดล Phi Silica ของตัวเอง

ข้อดีของการรันโมเดลบน NPU คือประหยัดต้นทุนค่าเช่าคลาวด์ เพราะพีซีรุ่นใหม่ๆ ล้วนมี NPU มาให้ในตัวแล้ว สามารถประมวลผลโมเดลได้ดีกว่าซีพียู-จีพียูแบบดั้งเดิม

พีซีที่รองรับจะเริ่มด้วยกลุ่ม Snapdragon X ก่อน แล้วกลุ่ม Intel Core Ultra 200V และ AMD Ryzen จะตามมาในลำดับถัดไป สเปกขั้นต่ำจำเป็นต้องมีแรม 16GB ขึ้นไป เริ่มใช้งานได้ผ่าน AI Toolkit for Visual Studio Code

ที่มา - Microsoft