xAI สตาร์ทอัพด้าน AI ของ Elon Musk โอเพนซอร์ส Grok-1 โมเดล LLM ของบริษัท ซึ่งในซอร์สมีทั้งค่าพื้นฐานจำเป็นคือ Weight และโครงสร้างเครือข่าย ตามที่ Musk เคยประกาศไว้ก่อนหน้านี้
Grok-1 เป็นโมเดลขนาด 314 พันล้านพารามิเตอร์ ใช้เทคนิคการเรียนรู้แบบ Mixture-of-Experts (MoE) ตัวโอเพนซอร์สนี้เป็นโมเดลในระยะก่อนการเทรน (Pre-training) สถานะ ณ เดือนตุลาคม 2023 จึงยังไม่ได้ถูกปรับแต่งเพื่อแอพพลิเคชันหรือลักษณะการนำไปใช้งานใดโดยเฉพาะ
สามารถดูรายละเอียดเพิ่มเติมได้ที่ github.com/xai-org/grok
ที่มา: xAI
เพื่อฉลองการ Open ซอร์สครั้งนี้ท่านซีอีโอเลยมาเองหนึ่งชุด