Mozilla Innovation Project เปิดโครงการ llamafile โครงการแพ็กโมเดลปัญญาประดิษฐ์สำเร็จรูป ทำให้รันโมเดลต่างๆ ได้โดยง่าย เป็นไฟล์ไบนารีไฟล์เดียวก็รันได้เลย
ก่อนหน้านี้มีโครงการจำนวนมากที่พยายามนำโมเดล LLM มารันบนเดสก์ทอปอยู่แล้ว เช่น โครงการ llama.cpp แต่ก็ยังต้องอาศัยการคอนฟิกพอสมควร llamafile ทำให้การใช้งานสะดวกขึ้นอีกขั้น โดยอาศัยโครงการ Cosmopolitan Libc มาแพ็กไฟล์ต่างๆ เข้าด้วยกันให้รันได้ทุกที่
ตอนนี้มีโมเดลที่รองรับแล้ว ได้แก่ LLaVA 1.5, Mistral 7B, Mixtral 8x7B, และ WizardCoder-Python 13B
ไฟล์ที่ได้จะสามารถรันได้ทั้ง macOS, Linux, Windows, และ BSD เนื่องจากวินโดวส์นั้นจำกัดขนาดไฟล์ executable ไว้ที่ 4GB ทำให้ใช้ได้เฉพาะ LLaVA 7B เท่านั้น แต่ตัวโปรแกรม llamafile ยังรองรับการโหลดไฟล์พารามิเตอร์จากภายนอก ทำให้สามารถใช้ไฟล์ gguf มารันได้
ที่มา - Mozilla