ทีมวิจัย Qwen ของ Aliababa เปิดตัวโมเดล Qwen2.5-Coder โมเดล LLM ช่วยเขียนโค้ดที่ปรับปรุงกระบวนการฝึกจนได้ประสิทธิภาพสูงสุดในหมู่โมเดลโอเพนซอร์ส คะแนนทดสอบรวมพอๆ กับ GPT-4o ในการทดสอบหลายตัว
กระบวนการฝึก Qwen2.5-Coder นั้นอาศัยการฝึกเป็นขั้น เริ่มตั้งแต่การฝึกโค้ดแบบไฟล์เดี่ยว (file-level pretrain) แล้วขยับมาเป็นการฝึกแบบหลายไฟล์ (repo-level pretrain) สุดท้ายจึงฝึกการเขียนโค้ดตามคำสั่ง โดยอาศัยชุดข้อมูลโค้ดที่พบในอินเทอร์เน็ต นำมาสร้างคำสั่งเพื่อให้ได้โค้ดนั้น แล้วจึงนำชุดข้อมูลไปฝึก
จุดเด่นสำคัญของ Qwen2.5-Coder คือมันสามารถสร้างโค้ดได้หลายภาษาในคุณภาพค่อนข้างสูง เนื่องจากทีมงานสร้างชุดข้อมูลภาษาโปรแกรมอื่นๆ ที่มีชุดข้อมูลน้อยเพิ่มเข้ามา
Qwen2.5-Coder มีโมเดล 6 ขนาดให้ใช้งานตั้งแต่ 0.5B จนถึง 32B โดยทุกรุ่นใช้สัญญาอนุญาต Apache 2.0 ยกเว้นรุ่น 3B ใช้สัญญาอนุญาต Qwen research
ที่มา - QwenLM