กูเกิลเผยแพร่รายงานวิจัยการพัฒนาแชตบอทที่เหมือนมนุษย์โดยไม่ระบุหัวข้อ (Towards a Human-like Open-Domain Chatbot) ที่นำเสนอปัญญาประดิษฐ์ที่ชื่อว่า Meena เป็นโมเดลปัญญาประดิษฐ์ขนาดใหญ่ 2.6 พันล้านพารามิเตอร์ ฝึกด้วยชุดข้อมูลขนาด 341 กิกะไบต์ เพื่อให้ได้แชตบอตที่คุยเรื่องอะไรก็ได้ (open domain)
Meena คือปัญญาประดิษฐ์ที่อ่านข้อความก่อนหน้า แล้วพยายามคาดเดาประโยคที่ควรตอบกลับถัดไป ภายในของ Meena เป็นบล็อคปัญญาประดิษฐ์สถาปัตยกรรม Evolved Transformer ที่กูเกิลเสนอไว้เมื่อปีที่แล้ว แบ่งเป็นบล็อค encoder หนึ่งบล็อค และบล็อค decoder อีก 13 ชั้น ด้วยความที่พารามิเตอร์มีจำนวนมากทำให้ Meena มีความสามารถสูง
บทสนทนาระหว่าง Meena และมนุษย์ที่ Meena เล่นมุกตลก
ข้อมูลที่ใช้ฝึก Meena เป็นข้อมูลที่กวาดมาจากเว็บสังคมออนไลน์ทั้งหลายที่มีการโต้ตอบกันในโพสสาธารณะ ปริมาณ 341 กิกะไบต์ หากเทียบกับ GPT-2 ของ OpenAI นั้นมีขนาด 1.5 พันล้านพารามิเตอร์ และฝึกด้วยข้อมูลขนาด 40 กิกะไบต์ก็นับว่า Meena ใหญ่กว่ามาก ทีมงานกูเกิลไม่ได้เ้ทียบกับ GPT-2 ตรงๆ แต่ไปเทียบกับ DialoGPT ที่ไมโครซอฟท์นำ GPT-2 มาพัฒนาต่อเป็นแชตบอต
เกณฑ์การเปรียบเทียบปัญญาประดิษฐ์ที่คุยเรื่องอะไรก็ได้เช่นนี้ยังไม่มีมาตรฐานกลางนัก กูเกิลนำเสนอมาตรวัดใหม่ที่ชื่อว่า Sensibleness and Specificity Average (SSA) วัดความสมเหตุสมผล (sensible) โดยใช้คนจำนวนมากนับพันคนมามองแชตโต้ตอบระหว่างคนและแชตบอตจำนวน 100 บทสนทนา และเลือกว่าบทสนทนานี้สมเหตุสมผลหรือไม่ ผลที่ได้คือ Meena นั้นมีบทสนทนาที่สมเหตุสมผลถึง 79% เริ่มใกล้เคียงกับคนที่แชตกันจริงๆ ที่ได้คะแนน 86% ส่วนแชตบอตอื่นๆ นั้นได้คะแนนสูงสุด 56% เท่านั้น
การใช้ SSA มีปัญหาคือไม่สามารถใช้คอมพิวเตอร์มาวัดโดยอัตโนมัติได้ แต่กูเกิลพบว่าการวัด perplexity (ความงุนงง) ที่วัดความไม่แน่นอนของโมเดลภาษามีค่าสัมพันธ์กับค่า SSA อย่างมาก (R2=0.93) โดยทีมงานวัดค่า SSA ของโมเดล Meena จำนวน 8 รุ่นระหว่างการพัฒนา มาเทียบกับค่า perplexity จึงเห็นความสัมพันธ์นี้ ทำให้เป็นไปได้ว่าเราสามารถตั้งเป้าหมายลด perplexity ของโมเดลปัญญาประดิษฐ์โดยอัตโนมัติ ก่อนจะใช้วัด SSA ซึ่งต้องใช้แรงงานคนจำนวนมากและมีค่าใช้จ่ายสูงในภายหลัง
กูเกิลไม่เปิดเผยโมเดลของ Meena ออกสู่สาธารณะเนื่องจากกังวลว่าอาจจะมีความเสี่ยง แต่กำลังพิจารณาว่าจะเปิดเผยออกมาหรือไม่ในอนาคต
ที่มา - Google AI Blog