เว็บไซต์ The Information รายงานอ้างแหล่งข่าวภายในจาก OpenAI ว่าโมเดลตัวใหม่โค้ดเนม Orion ไม่ได้พัฒนาจาก GPT-4 แบบก้าวกระโดด เหมือนกับตอนเปลี่ยนจาก GPT-3 มาเป็น GPT-4
แหล่งข่าวของ The Information ยังบอกว่า Orion ยังอาจทำงานไม่ได้ดีกว่าโมเดลรุ่นปัจจุบันอย่างชัดเจนนัก (not be reliably better) ในงานบางด่าน เช่น การเขียนโค้ด
ปัญหานี้ทำให้ตอนนี้ OpenAI ตั้งทีมมาค้นหาวิธีเดินหน้าพัฒนาโมเดลต่อไปในระยะยาว เพราะไม่มีข้อมูลใหม่ๆ มาใช้เทรนโมเดลแล้ว (ใช้ข้อมูลหมดโลกแล้ว) แนวทางที่เป็นไปได้คือ การใช้ข้อมูลสังเคราะห์จากโมเดลอื่นมาเทรน Orion หรือ เพิ่มกระบวนการพัฒนาคุณภาพหลังการเทรนโมเดลเสร็จ
ปัญหาโมเดลปัญญาประดิษฐ์พัฒนาจนชนกำแพง ไม่ได้เกิดขึ้นกับ OpenAI เพียงเจ้าเดียว เพราะก่อนหน้านี้มีข่าวว่า Gemini 2.0 ก็เจอปัญหาแบบเดียวกัน ซึ่งอาจเป็นสัญญาณว่าเริ่มถึงทางตันของโมเดลตระกูล Transformer แล้ว
ที่มา - The Information via TechCrunch