DeepMind นำเสนอโมเดล GameNGen เกมเอนจินที่จำลองเกมได้สมจริงเหมือนการเล่นเกมจริงๆ แต่ภายในเป็นโมเดลสร้างภาพ Stable Diffusion ถูกฝึกด้วยภาพเกมและการคอนโทรลต่างๆ
โมเดลนี้อาศัยการสร้าง Agent ที่เล่นเกมจริงแล้วเก็บภาพที่ได้และการกระทำของผู้เล่นในเกม (เดิน ยิง วิ่ง) ไว้ต่อเนื่อง จากนั้นนำภาพและการกระทำมาฝึก generative model ให้ทำนายเฟรมต่อไปจากเฟรมเริ่มต้น ทำให้สุดท้ายได้โมเดลที่แทนเกมเอนจินได้ สามารถควบคุมและเล่นได้จริง ตัวโมเดลมีความสามารถในการนับพลังหรือจำนวนกระสุน ทีมงานพบว่าระหว่างการฝึก จำเป็นต้องแทรกภาพขยะเข้าไประหว่างทางด้วย เพื่อให้โมเดลทำงานได้นิ่งขึ้น
หากแนวทางนี้พัฒนาต่อไปจนใช้งานได้จริง ก็อาจจะเปิดทางการพัฒนาเกมแบบใหม่ๆ นักพัฒนาอาจจะวางภาพระหว่างทางในเกมเพื่อทดลองว่าเกมที่กำลังพัฒนาจะออกมาหน้าตาเป็นอย่างไรบ้าง
ที่มา - DeepMind