หลังจากเปิดสนามประลอง OpenAI Five Arena ไปเมื่อวันก่อน นักวิจัยที่ร่วมกันพัฒนา OpenAI Five ได้เปิดโอกาสให้ผู้เล่นได้เข้ามาถามคำถามต่างๆ ได้บน /r/Dota 2 บน Reddit ซึ่งได้เผยถึงเบื้องหลังที่น่าสนใจของการพัฒนา AI เพื่อเล่น Dota 2 ตัวนี้
คำถามที่น่าสนใจจากกระทู้ดังกล่าว มีดังนี้
เหตุผลที่ทาง OpenAI เลือกพัฒนา AI สำหรับ Dota 2 นั้น มาจากความนิยมของตัวเกม (และเงินรางวัลรวมที่สูง), มีการใช้ปฏิกิริยาตอบสนองหรือการควบคุมตัวละครอื่นๆ (macro) เป็นสกิลรอง, ความซับซ้อนของเกม, มีบนระบบปฏิบัติการ Linux และ มี API สำหรับการพัฒนา ซึ่งเหตุผลทุกข้อนี้มีความสำคัญเท่าๆ กัน
ฮีโร่ทั้ง 18 ตัวที่ถูกเลือกมาใน hero pool นั้น เลือกมาจากฮีโร่ที่พวกเขาคิดว่าง่ายสำหรับการเรียนรู้ของ AI เช่นเป็นฮีโร่โจมตีระยะไกล หรือ มีความสามารถที่ตรงไปตรงมา จากนั้น จึงค่อยๆ เพิ่มความสมดุลให้กับ hero pool โดยการเพิ่มฮีโร่โจมตีระยะประชิด และ ฮีโร่สายซัพพอร์ตตำแหน่งที่ 4 เข้าไป สุดท้าย พวกเขาลองเพิ่มฮีโร่ที่น่าสนใจและมีสกิลที่สร้างความสนุกในการรับชมเกมเข้าไป แต่พวกมันไม่สามารถพัฒนาไปถึงระดับความสามารถที่ใช้ในการแข่งขันได้เท่ากับฮีโร่ 18 ตัวแรก
ฮีโร่ทดลองที่ถูกเพิ่มเข้ามาหลังจาก 18 ตัวแรกคือ Drow Ranger และ Huskar รวมถึง Pugna, Pudge Venomancer, Mirana และ Windranger เพื่อดูว่า AI จะมีการใช้ mechanic เกมใหม่ๆ นอกเหนือจาก 18 ตัวแรกหรือไม่ และ พวกเขายังเคยลอง hero pool ราวๆ 80 (ไม่มีฮีโร่ที่สร้างร่างปลอมหรือเสก summon ออกมา) ตัวในสเกลขนาดเล็ก เพื่อศึกษาผลกระทบที่มีต่อเกม ซึ่ง AI สามารถเล่นฮีโร่เหล่านี้ได้เทียบเท่ากับผู้เล่นระดับกลางๆ (ราว 3500 MMR) ได้ในระยะเวลาที่สั้นมาก
OpenAI Five เวอร์ชั่นที่นำมาให้ทดลองใน Arena นั้นไม่ได้มีการพัฒนาหรืออัพเดตตัวเองระหว่างการแข่งขันที่เพิ่มขึ้นในแต่ละครั้ง แต่เป็นเวอร์ชั่นเดียวกันหมดทุกเซิฟเวอร์ และ การแข่งขันที่เกิดขึ้นทั้งหมดใน Arena ได้ข้อมูลการเล่นน้อยกว่าการที่ OpenAI Five ฝึกกับตัวเอง 1 นาทีเสียอีก
สิ่งที่น่าสนใจที่สุดที่พวกเขาได้เรียนรู้จากการพัฒนา OpenAI Five คือ ปัญหาหลายๆ อย่างที่พวกเขาคิดว่าน่าจะเป็นเรื่องยากมากๆ ที่ AI จะเรียนรู้ได้กลับกลายว่าสามารถเรียนรู้ได้อย่างไม่ยากมากในท้ายที่สุด ตัวอย่างที่ดีที่สุดคือการโยกย้ายฮีโร่ในแผนที่ (map rotation) ในช่วงต้นเกม
หลังจากจบการทดลอง OpenAI Five Arena แล้ว ทีมงานยกเลิกงานด้านการพัฒนาเพื่อนำไปสู่การแข่งขัน แต่พวกเขาจะโฟกัสไปที่การวิจัยและใช้ Dota 2 เป็นหนึ่งในเครื่องมือเพื่อทดลองไอเดียใหม่ๆ และศึกษาเกี่ยวกับการเรียนรู้แบบเสริมกำลัง (reinforcement learning) ต่อไป
พวกเขามีแผนที่จะเขียน blog อย่างละเอียดถึง OpenAI Five พร้อมวิเคราะห์ข้อมูลต่างๆ เช่น ผลแพ้ชนะ, ฮีโร่, การเล่นคู่กับ AI และอื่นๆ รวมถึงไฟล์รีเพลย์บางส่วนด้วย นอกจากนี้ พวกเขายังมีแผนที่จะเขียนเนื้อหาลงลึกในเชิงเทคนิคเกี่ยวกับ OpenAI Five เพิ่มเติมอีกด้วย
ขณะที่เขียนข่าวนี้ OpenAI Five มีอัตราการชนะอยู่ที่ 99.4% (ชนะ 2646 แพ้ 17) โดยนอกจาก Alpha Red แล้ว ยังมีทีมผู้เล่นชาวไทยที่นำโดย Jabz ผู้เล่นอาชีพจากทีม Fnatic ที่สามารถเอาชนะ OpenAI Five ไปได้ถึง 2 ครั้งด้วยกัน
สามารถอ่านการตอบคำถามอื่นๆ เพิ่มเติมของทีม OpenAI Five ได้ในที่มาท้ายข่าว
ที่มา: Reddit