เฉพาะทาง ทีมวิจัยสร้างปัญญาประดิษฐ์แปลการ์ตูนญี่ปุ่น อาศัยเนื้อหาในภาพมาช่วยแปล

ทีมวิจัยจากญี่ปุ่นนำเสนอปัญญาประดิษฐ์เฉพาะทางสำหรับแปลการ์ตูน (มังงะ - manga) โดยนำภาพในการ์ตูนเข้ามาประกอบเพื่อให้คุณภาพการแปลสูงขึ้น

กระบวนแปลภาษาในการ์ตูนนั้นมีความยากกว่าเนื้อหาปกติเพราะข้อความในแต่ละช่องของการ์ตูนมักเป็นข้อความสั้นๆ บางครั้งหากไม่มองเนื้อหาโดยรวมแล้วก็ถึงกับแปลไม่ได้ ทำให้ทีมวิจัยสร้างระบบการแปลแบบมองบริบทจากหลายมุมมอง (multimodal context-aware) โดยมองทั้งลำดับของภาพ, ลำดับของข้อความ, และบริบทผู้พูดข้อความนั้นๆ เช่น เพศของผู้พูด

ทีมงานระบุว่าระบบการแปลที่มองบริบทมาเป็นส่วนร่วมเช่นนี้น่าจะใช้งานประเภทอื่นๆ ได้ด้วย เช่น การทำคำบรรยายภาพยนตร์

เนื่องจากตอนนี้ไม่มีชุดข้อมูลสำหรับวัดประสิทธิภาพของการแปลการ์ตูนโดยตรง ทีมงานจึงสร้างชุดข้อมูลขึ้นมาใหม่ จากการ์ตูนรวม 214 หน้า และชุดข้อมูลจากการ์ตูนที่มีการแปลไปก่อนหน้านี้แล้ว 258 หน้า

ที่มา - arXiv