Replit บริษัทผู้สร้าง IDE ผ่านเบราว์เซอร์ ที่ช่วงหลังเริ่มใช้งาน AI ช่วยเขียนโค้ด เปิดตัวฟีเจอร์ Code Repair ที่นำ LLM มาปรับแต่งเพื่อเน้นการแก้บั๊กโดยเฉพาะ
Replit บอกว่าการนำ LLM มาช่วยเขียนโค้ดที่ใช้กันอยู่ทุกวันนี้ เกิดจากการเทรนด้วยข้อมูลซอร์สโค้ด ผสมกับข้อมูลการพูดคุยกันของมนุษย์ เช่น กระทู้ใน StackExchange หรือ GitHub issue จึงมีข้อจำกัดเรื่องการขาดบริบทด้านสภาพแวดล้อมในการพัฒนา (development environment) ที่โปรแกรมเมอร์แต่ละคนใช้งาน
ในฐานะที่ Replit เป็นบริษัทที่สร้าง IDE โดยตรง มีข้อมูลสภาพแวดล้อมในการพัฒนาจริงอยู่แล้ว จึงสามารถนำข้อมูลตรงนี้มาเทรนเพื่อช่วยแก้ปัญหาสำคัญของโปรแกรมเมอร์ นั่นคือการแก้บั๊กในโค้ดที่ใช้งานอยู่
IDE ของ Replit อิงอยู่บนเทคโนโลยีของ VS Code คือใช้ตัว Monaco editor เป็นฐาน และใช้โปรโตคอลภาษาโปรแกรม Language Server Protocol (LSP) รองรับรูปแบบของภาษาโปรแกรมต่างๆ ส่งผลให้ Replit มีข้อมูล error จาก LSP จำนวนมหาศาล นำไปใช้เทรนโมเดลได้อย่างตรงเป้า
Replit เก็บข้อมูล error เหล่านี้ไปใช้เทรนโมเดลเขียนโค้ดแบบโอเพนซอ์ส ขนาดพารามิเตอร์ราว 7B ที่มีในท้องตลาด (เลือก DeepSeek-Coder-Instruct-v1.5 ด้วยเหตุผลเรื่องประสิทธิภาพ) ผลที่ได้พบว่าโมเดล Replit Code Repair สามารถแก้บั๊กโค้ดได้เก่งกว่าโมเดลขนาดใหญ่มากกว่าตัวอื่นๆ เช่น GPT-4 Turbo และ Claude 3 Opus ได้
ตอนนี้โมเดล Replit Code Repair ยังมีสถานะเป็นโครงการทดลองภายในบริษัท และจะพัฒนาต่อในด้านต่างๆ เช่น รองรับภาษาโปรแกรมให้มากขึ้น ปรับการทำงานให้เสถียรกว่าเดิม แล้วค่อยนำไปใช้งานในระดับโปรดักชันต่อไป
ที่มา - Replit