DeepMind โชว์งานวิจัย สอนบ็อต AI เล่นวิดีโอเกม Atari ด้วยการดูคลิป YouTube

ก่อนหน้านี้ ทีม DeepMind ของกูเกิลประกาศสร้าง AI ด้านวิดีโอเกม (ร่วมมือกับ Blizzard) ล่าสุดมีงานวิจัยชิ้นหนึ่งของ DeepMind เผยแพร่ออกมา แสดงให้เห็นแนวทางบางอย่างแล้ว

ช่วงหลังงานวิจัยด้าน Deep Learning เริ่มมาในทาง reinforcement learning หรือการให้ AI หัดเรียนรู้ด้วยตัวเอง (จากข่าว AlphaGo Zero ที่หัดเล่นโกะเองโดยไม่ต้องพึ่งพามนุษย์) รายละเอียดของเทคนิคนี้คือ ผู้สร้าง AI จะต้องสร้างระบบแรงจูงใจ (reward) เพื่อชักจูงให้ AI ให้ลองทำในสิ่งที่สอดคล้องกับกฎของเกม และ AI จะค่อยๆ ลองผิดลองถูกไปเรื่อยๆ จนเอาชนะเกมนั้นได้สำเร็จ

ข้อจำกัดของ reinforcement learning คือระบบ reward เหมาะกับเกมที่มีกฎค่อนข้างชัดเจน เช่น Pac-Man ที่กินจุดแล้วเห็นผลทันที แต่เกมบางประเภทที่มีความซับซ้อนสูง และไม่เคลียร์นัก (ในสายตาของ AI) ว่าการกระทำบางอย่างทำไปแล้วจะได้อะไร จะทำให้ AI ต้องลองผิดลองถูกเยอะมากๆ จนไม่สามารถปฏิบัติได้จริง

ตัวอย่างเกมประเภทนี้ที่ DeepMind นำมาสาธิตคือเกม Montezuma’s Revenge เกมแอคชั่นพัซเซิลบนเครื่อง Atari ที่วางขายในปี 1984 เกมนี้ตัวเอกจะต้องเดินไปเดินมาในเขาวงกต และเก็บกุญแจเพื่อไปเปิดประตูต่างๆ ซึ่งการเก็บกุญแจในห้องหนึ่งเพื่อไปเปิดประตูในห้องอื่นที่ไกลออกไป เป็นความไม่ชัดเจนที่ทำให้ reinforcement learning ทำงานได้ยาก บวกกับความเป็นเกมแอคชั่นที่ตัวละครเคลื่อนที่ได้อย่างอิสระ ยิ่งทำให้ทางเลือกที่เป็นไปได้มีจำนวนมหาศาล (ดูคลิปเกมแล้วน่าจะพอเห็นภาพครับ)

ทางออกของ DeepMind เพื่อลดความซับซ้อนของทางเลือกลง จึงเปลี่ยนวิธีการเรียนรู้ของ AI จากการลองผิดลองถูกด้วยตัวเอง มาเป็นการเรียนรู้จากผู้เล่นที่เป็นมนุษย์ จากคลิปการเล่นเกมใน YouTube แทน

ทีมงาน DeepMind บอกว่าแรงบันดาลใจของงานวิจัยนี้ มาจากคนจำนวนมากที่เรียนรู้ทักษะต่างๆ ด้วยตัวเองผ่านการดูคลิป ทีมงานจึงเลือกคลิปเกมมา 3 คลิปต่อหนึ่งเกม (มี 3 เกมคือ Montezuma’s Revenge, Pitfall, Private Eye) แล้วใช้เทคนิค 2 แบบประมวลผลข้อมูลจากคลิป

• temporal distance classification (TDC) นำเฟรมวิดีโอมาเปรียบเทียบกัน เพื่อหาความแตกต่างของภาพ และดูว่าผู้เล่นกระทำการใดระหว่างสองเฟรมนั้น
• cross-modal temporal distance classification (CDC) วิเคราะห์เสียงที่เกิดขึ้นในเกม เช่น เมื่อผู้เล่นกระโดดจะมีเสียงตัวละครกระโดด เพื่อศึกษาว่าผู้เล่นกระทำการใดในเหตุการณ์ต่างๆ ของเกม

จากนั้นนำข้อมูลที่สกัดได้จากคลิป มาเข้ากระบวนการเรียนรู้ผ่าน neural network และพัฒนาจนสามารถเล่นเกมได้สำเร็จ (งานวิจัยนี้ยังมีส่วนที่เป็น reinforcement learning อยู่บ้าง)

DeepMind เผยผลงานของบ็อต AI ที่เรียนรู้ด้วยวิธีการนี้ว่า ทำผลงานได้ดีกว่าค่าเฉลี่ยของมนุษย์ (คิดจากคะแนนในเกม ตามตาราง) และทำได้ดีกว่าบ็อตตัวอื่นๆ ที่ใช้เทคนิค reinforcement learning (Rainbow, ApeX, DQfD) มาก

ที่มา - งานวิจัย, The Register