NLP-Voice Research Lab, KBTG Labs ห้องวิจัยของ KASIKORN Business—Technology Group (KBTG) รายงานถึง THaLLE โมเดล LLM ที่ปรับแต่งเพื่อเพิ่มความสามารถด้านการเงิน โดยวัดจากการสอบ Chartered Financial Analyst (CFA)
การสอบ CFA ระดับต้นนั้นเป็นการสอบแบบตัวเลือก โดยผู้สอบต้องทำคะแนนให้สูงกว่า 70% ที่ผ่านมามีปัญญาประดิษฐ์แบบ LLM ที่ทำคะแนนสูงกว่า 70% นี้อยู่แล้วแต่เป็นโมเดลขนาดใหญ่ เช่น GPT-4o นั้นทำคะแนนในชุดทดสอบ Flare CFA ได้ถึง 88% หรือ Gemini 1.5 Pro ก็ทำคะแนนได้ถึง 78% ขณะที่โมเดล LLM ขนาดเล็กไม่เกิน 8B นั้นนำคะแนนได้ไม่สูงนัก มีเพียง Qwen2-7B ที่ได้คะแนน 68%
ทีม KBTG สร้างชุดข้อมูลข้อสอบ CFA จำลองขึ้นเอง และ finetune โมเดล Llama3-7B-Instruct และ Qwen2-7B-Instruct พบว่าสามารถทำให้ Qwen2-7B-Instruct ทำคะแนนเกิน 71.7% ผ่านการทดสอบได้
รายงานระบุถึงบทเรียนที่ได้จากการทำ finetune โมเดลครั้งนี้ โดยจากอาศัยเทคนิค LoRA เช่นการใช้ LoRA rank เกิน 32 นั้นไม่ช่วยอะไรนัก, การใช้ all-linear target นั้นได้ผลดีกว่าการปรับแต่งเฉพาะ q_proj และ v_proj, การใส่ system prompt ลงไปในชุดข้อมูลที่ finetune ข่วยให้ผลดีขึ้น, ตลอดจนการจับกลุ่มข้อมูลตามความยาวนั้นก็ส่งผลลบต่อโมเดลที่ได้
รายงานระบุว่าการวัดผลจากการสอบ CFA เป็นเพียงการประเมินเบื้องต้น และการนำ LLM มาใช้งานเป็นที่ปรึกษาทางการเงินนั้นต้องอาศัยการศึกษาต่อไป