Sam Altman พูดในงานสัมมนาของ MIT ระบุถึงการพัฒนาโมเดลปัญญาประดิษฐ์ที่มีขนาดใหญ่ขึ้นเรื่อยๆ ว่าการแข่งขันให้โมเดลมีขนาดใหญ่ยักษณ์นั้นน่าจะจบลงแล้ว และต่อจากนี้ต้องหาทางอื่นเพื่อให้โมเดลปัญญาประดิษฐ์เหล่านี้ทำงานได้ดีขึ้น
โมเดลปัญญาประดิษฐ์ด้านภาษานั้นมีขนาดใหญ่ขึ้นอย่างรวดเร็วในช่วงเวลาไม่กี่ปีที่ผ่านมา ถ้านับเฉพาะผลงานของ OpenAI เอง GPT-1 (2018) มีขนาดเพียง 117 ล้านพารามิเตอร์, GPT-2 (2019) มีขนาด 1,500 ล้านพารามิเตอร์, GPT-3 (2020) มีขนาด 175,000 ล้านพารามิเตอร์ ส่วน GPT-4 นั้นไม่ระบุขนาดแต่ก็คาดกันว่าจะใหญ่กว่า GPT-3 มาก
แม้ขนาดโมเดลจะใหญ่ขึ้นอย่างรวดเร็ว แต่การพัฒนาจาก GPT-3 มาเป็น ChatGPT นั้นอาศัยการฝึกโมเดลในรูปแบบใหม่ที่อาศัยมนุษย์เข้ามาดูคำตอบและให้คะแนนเพื่อฝึกให้ตอบดีขึ้นเรื่อยๆ และปรากฎว่าปัญญาประดิษฐ์สามารถตอบโต้ได้เป็นอย่างดีแม้จะใช้โมเดลปัญญาประดิษฐ์พื้นฐานขนาดเล็กก็ตาม
โมเดลขนาดใหญ่นั้นมีผลทำให้ค่าใช้จ่ายในการฝึกโมเดลนั้นมีราคาแพงไปด้วย โดยคาดกันว่า GPT-4 นั้นใช้ต้นทุนการฝึกมากกว่า 100 ล้านดอลลาร์ หรือ 3,400 ล้านบาท และต้นทุนในการให้บริการก็แพงขึ้นด้วยเช่นกัน ทำให้ทุกวันนี้ผู้ใช้ ChatGPT ที่จ่ายเงินเท่านั้นจึงใช้ GPT-4 ได้ หรือหากเป็นค่าใช้ API ก็มีราคาแพงกว่า GPT-3.5 มาก
ที่มา - Wired