OpenAI เปิดให้ทดลองคุยกับแชทบ็อต ChatGPT ที่ใช้เอนจิน GPT เวอร์ชัน 3.5 ที่ปรับปรุงเพิ่มขึ้นจาก GPT-3 ที่เปิดตัวในปี 2021
ความสามารถของ ChatGPT เน้นไปที่การสนทนาโต้ตอบ ตอบคำถาม และสามารถยอมรับความผิดพลาดในสิ่งที่ตัวเองสุนทนาได้ ตัวอย่างที่ OpenAI นำมาโชว์คือการใช้ ChatGPT ช่วยหาบั๊กในโค้ดโปรแกรมตัวอย่าง
Mira Murati ซีทีโอของ OpenAI บอกว่าจุดเด่นของ ChatGPT ที่ต่างจากโมเดลสนทนาโต้ตอบตัวอื่นๆ คือการยอมรับได้ว่าไม่รู้ ไม่เข้าใจ หรือตอบผิดพลาดไป ไม่ได้พยายามตอบทุกสิ่งทุกอย่างเหมือนกับโมเดลรุ่นก่อนหน้า
เบื้องหลังการทำงานของ ChatGPT เป็นการเทรนด้วยวิธี Reinforcement Learning from Human Feedback (RLHF) โดยในช่วงแรกให้มนุษย์ที่ผ่านการอบรมเป็นผู้สอน AI ให้สนทนา (supervised training) จากนั้นนำบทสนทนาที่ได้มาจัดลำดับคุณภาพแล้วให้รางวัล เพื่อสร้างเป็น rewarding model แยกอีกชุด แล้วนำ rewarding model ไปปรับแต่งโมเดลหลักด้วยเทคนิค Proximal Policy Optimization (PPO) อีกทีหนึ่ง
กระบวนการเทรนทั้งหมดทำอยู่บนซูเปอร์คอมพิวเตอร์ของ Microsoft Azure ที่ร่วมลงทุนใน OpenAI อยู่ก่อนแล้ว
ทีมงาน OpenAI ยังยอมรับว่า ChatGPT มีข้อจำกัดบางอย่าง เช่น อาจสร้างคำตอบที่ฟังดูน่าเชื่อถือ แต่จริงๆ แล้วไม่ถูกต้อง เพราะในกระบวนการเทรนก็มีข้อจำกัดว่าข้อมูลไหนบ้างที่ถูกต้อง, คำตอบมักยาวเกินควร เพราะมี bias ตอนเทรนว่ามนุษย์ที่เป็นฝ่ายเทรนมักชอบคำตอบยาวๆ มากกว่า เป็นต้น
บริษัทอื่นๆ ที่ทำด้าน AI ต่างมีโมเดลสนทนาแบบเดียวกันนี้หลายตัว เช่น Sparrow ของ DeepMind และ Galactica ของ Meta
OpenAI ยังอยู่ระหว่างการพัฒนาโมเดลตัวใหม่คือ GPT-4 ซึ่งยังไม่ระบุชัดเจนว่าจะเปิดตัวเมื่อไร
ตัวอย่างคำตอบของ ChatGPT กับ InstructGPT เวอร์ชันก่อนหน้านี้ ด้วยคำถามยากๆ อย่าง "เล่าเรื่องคริสโตเฟอร์ โคลัมบัส มาที่สหรัฐอเมริกาในปี 2015" จะเห็นว่า InstructGPT พยายามตอบ (ไปเรื่อย) แต่ ChatGPT รู้ว่าเรื่องนี้ไม่ใช่ของจริง แต่ยังแต่งเรื่องมาตอบให้ได้
ที่มา - OpenAI, MIT Technology Review