ปกติแล้วการทำใบหน้าขณะพูดของตัวละครในเกมหรือภาพยนตร์ CG ให้ดูเหมือนมนุษย์ จะต้องใช้ต้นแบบเป็นวิดีโอของนักแสดงที่เป็นคนจริงๆ มาผ่านซอฟต์แวร์แปลงใบหน้า แล้วค่อยให้ฝ่ายศิลป์ตรวจสอบและแก้ไขอีกครั้ง ซึ่งกระบวนการทั้งหมดสิ้นเปลืองเวลามาก
งานวิจัยล่าสุดของ NVIDIA ที่โชว์ในงาน SIGGRAPH นำเทคนิค deep learning มาช่วยแก้ปัญหา ให้แปลงวิดีโอคนจริงมาเป็นโมเดล 3D ได้รวดเร็วและแม่นยำขึ้น โดยใช้ข้อมูลเพื่อเทรนเป็นวิดีโอยาวแค่ 5 นาทีเท่านั้น
เท่านั้นยังไม่พอ ทีมวิจัยของ NVIDIA ยังสามารถสร้างโมเดลใบหน้า 3D โดยไม่ต้องใช้ภาพวิดีโอ แต่ใช้แค่เสียงพูดเท่านั้น วิธีการคือนำกราฟคลื่นเสียงมาโยงกับจุดขยับต่างๆ ของโมเดลใบหน้า เพื่อให้ใบหน้าขยับตามเสียงได้
งานนี้ NVIDIA ใช้ข้อมูลวิดีโอจากสตูดิโอ Remedy Entertainment ผู้พัฒนาเกม Quantum Break, Max Payne, Alan Wake และได้ผลออกมาดี
ประโยชน์ของงานวิจัยนี้คือบริษัทเกมจะลดต้นทุนในการสร้างโมเดลใบหน้าลงได้มาก และไม่จำเป็นต้องจ้างนักแสดงมาเล่นเป็นตัวละครให้ครบทุกตัว แต่ใช้ AI ช่วยวาดใบหน้าของตัวละครระดับรองๆ แทนได้ (รวมถึงการสร้างใบหน้าของตัวละครที่พูดในภาษาอื่นๆ หากเกมรองรับเสียงพากย์หลายภาษาด้วย)
ที่มา - NVIDIA