MosaicML บริการคลาวด์สำหรับปัญญาประดิษฐ์ ประกาศเปิดซอร์สของโมเดล MPT-7B โมเดลปัญญาประดิษฐ์ภาษาขนาดใหญ่ (LLM) แบบโอเพนซอร์สที่สามารถใช้งานเชิงการค้าได้เต็มรูปแบบ โดยมีขนาด 6,700 ล้านพารามิเตอร์ เทียบเท่ากับโมเดลเล็กที่สุดของ LLaMA ของ Meta/Facebook และคะแนนทดสอบใกล้เคียงกัน พร้อมกันฟีเจอร์สำคัญคือรองรับการประมวลผลข้อมูลขนาดใหญ่มาก
MPT-7B เป็นตระกูลปัญญาประดิษฐ์ที่มีหลายตัว ได้แก่
- MPT-7B: โมเดลฐาน ทดสอบชนะโมเดลโอเพนซอร์สขนาดใกล้เคียงกันแทบทุกตัวยกเว้น LLaMA ที่เฟซบุ๊กไม่เปิดเผยข้อมูลทดสอบ และใช้งานเพื่อการค้าไม่ได้ ตัวโมเดลเป็นสัญญาอนุญาต Apache 2.0
- MPT-7B-StoryWriter-65k+: โมเดลที่จูนมาเฉพาะเพื่อรองรับอินพุตขนาดใหญ่มากระดับนิยายทั้งเล่ม ทีมงานทดสอบด้วยการใส่นิยายเรื่อง The Great Gatsby เข้าไปแล้วให้ปัญญาประดิษฐ์เขียนบทส่งท้ายก็ยังสามารถทำได้สมเหตุสมผลอยู่ โมเดลนี้เป็น Apache 2.0 เช่นกัน
- MPT-7B-Instruct: โมเดลฝึกพิเศษสำหรับการถามตอบ โดยใช้ชุดข้อมูล Dolly ของ Databrick และ Anthropic มาฝึกการถามตอบ ทำให้สัญญาอนุญาตเป็น CC-By-SA 3.0
- MPT-7B-Chat: โมเดลฝึกเพิ่มเติมจากชุดข้อมูลที่ได้จาก ChatGPT เช่น ShareGPT ทำให้ใช้เพื่อการค้าไม่ได้
เนื่องจาก MosaicML เป็นบริการฝึกปัญญาประดิษฐ์แบบคลาวด์ทำให้ทางบริษัทโชว์ค่าใช้จ่ายการฝึกไว้ด้วย เช่น โมเดลพื้นฐานนั้นมีค่าใช้จ่ายกว่า 200,000 ดอลลาร์หรือประมาณ 7 ล้านบาท แต่การฝึกคำสั่งกลับใช้ต้นทุนเพียง 37 ดอลลาร์หรือ 1,000 บาทเท่านั้น
ที่มา - MosaicML