หน้าจออัจฉริยะ Nest Hub Max เพิ่มทางเลือกของคนที่ขี้เกียจพูดคำว่า "Hey Google" หรือ "Ok Google" ทุกครั้งก่อนสั่งงาน โดยเปิดให้สแกนใบหน้าของเราเก็บไว้ได้ เมื่อเราอยู่ในรัศมีของกล้อง Nest Hub Max ก็สามารถพูดประโยคสั่งงานได้โดยตรงเลย
ฟีเจอร์นี้เรียกว่า Look and Talk ต้องใช้การแยกแยะใบหน้า (Face Match) คู่กับการแยกแยะเสียง (Voice Match) พร้อมกัน กูเกิลบอกว่าฟีเจอร์นี้เป็นทางเลือกแบบ opt-in และวิดีโอที่ถ่ายใบหน้าของเราจะถูกเก็บในเครื่องเท่านั้น ไม่ส่งกลับเซิร์ฟเวอร์ของกูเกิลแต่อย่างใด
เบื้องหลังการทำงานของมันต้องใช้โมเดล machine learning รวม 6 ตัวจับสัญญาณต่างๆ 100 ชนิด ทั้งจากกล้องและไมโครโฟน เพื่อมาวิเคราะห์แง่มุมต่างๆ เช่น ทิศทางของศีรษะ ทิศทางของนัยน์ตา การขยับปาก ระยะความใกล้ (proximity) กูเกิลบอกว่าผู้ใช้ต้องจ้องมองจอตรงๆ และถ้าเดินผ่านเฉยๆ ก็จะไม่นับเป็น Look and Talk
ตอนนี้ Look and Talk ยังเปิดให้ใช้เฉพาะในสหรัฐอเมริกาเท่านั้น
ที่มา - Google