ทีมวิจัยเยอรมันโอเพนซอร์สระบบเรนเดอร์ภาพสามมิติเหมือนจริงจากภาพถ่าย 300-350 ภาพ และการสแกนสามมิติ

by lew
17 October 2021 - 09:37

ทีมวิจัยจากมหาวิทยาลัย Erlangen-Nuremberg ในเยอรมนีรายงานถึงงานวิจัย ADOP ระบบเรนเดอร์ภาพหลากหลายมุมมองทำให้กล้องสามารถเคลื่อนไปมารอบวัตถุได้อย่างสมจริง

ADOP อาศัยภาพเริ่มต้น, จุดสามมิติของภาพ (point cloud), รุ่นกล้องถ่ายภาพ, และตำแหน่งของกล้องเพื่อสร้างภาพ โดยโมเดลปัญญาประดิษฐ์รับอินพุตเป็นภาพจากกล้องวิดีโอของวัตถุแต่ละชิ้นที่กำลังสร้างภาพสามมิติ จำนวนประมาณ 300-350 ภาพ โดยเก็บภาพไว้ 5% สำหรับการทดสอบระบบ จากนั้นนำภาพไปสร้าง point cloud จำนวนประมาณ 8-12 ล้านจุด

โมเดลปัญญาประดิษฐ์จะให้ภาพแบบ HDR ออกมาก่อน จากนั้นระบบจะนำไปปรับสีด้วย tone mapper เพื่อให้ภาพสมจริงยิ่งขึ้น เนื่องจากภาพที่สร้างขึ้นเป็น HDR จึงสามารถนำไปสร้างภาพมุมมองเดียวกับภาพต้นฉบับแต่ปรับแต่งสีให้สวยกว่าภาพที่ใช้ฝึกเสียอีก

ทีมวิจัยระบุว่าจะเปิดซอร์สโค้ดของ ADOP ทั้งหมดเข้า GitHub หลังจากรายงานวิจัยนี้ได้รับตีพิมพ์แล้ว

ที่มา - ADOP: Approximate Differentiable One-Pixel Point Rendering

Blognone Jobs Premium