Ollama ระบบรันปัญญาประดิษฐ์ LLM รองรับการ์ด AMD

by lew
15 March 2024 - 22:15

Ollama ซอฟต์แวร์สำหรับรันปัญญประดิษฐ์ในกลุ่ม LLM ออกเวอร์ชั่น 0.1.29 รองรับการ์ด AMD ผ่านซอฟต์แวร์ ROCm ตั้งแต่รุ่นใช้งานตามบ้าน Radeon, รุ่นเวิร์คสเตชั่น, และรุ่นเซิร์ฟเวอร์ในกลุ่ม Instinct

ที่จริงแล้ว Ollama รองรับ ROCm มาระยะหนึ่งแล้วอย่างเงียบๆ แต่ยังมีบั๊กอยู่จำนวนหนึ่ง และเวอร์ชั่นนี้เป็นเวอร์ชั่นแรกที่โครงการรองรับเป็นทางการ สามารถใช้งานบนเวอร์ชั่น ลินุกซ์, วินโดวส์, และ Docker

ก่อนหน้านี้การรัน LLM นั้นมักรองรับการ์ด NVIDIA กันเป็นหลักเนื่องจากไลบรารี CUDA ได้รับความนิยมสูง แต่ก็เริ่มมีการรองรับชิป AMD มากขึ้นเรื่อยๆ

ที่มา - Ollama

Blognone Jobs Premium