กูเกิลประกาศชื่อบ็อต crawler ไล่ดูดหน้าเว็บตัวใหม่ชื่อ Google-Extended มีหน้าที่ดูดข้อมูลไปใช้สำหรับงาน AI โดยเฉพาะ เช่น Bard และ Vertex AI เพื่อให้เจ้าของเว็บไซต์สามารถกำหนดค่าได้ง่ายว่าอนุญาตให้บ็อตดูดหน้าเว็บหรือไม่ ผ่านไฟล์ robots.txt ที่ใช้งานกันอยู่แล้ว
เนื่องจากบ็อต Google-Extended เป็นบ็อตตามมาตรฐานของกูเกิล เจ้าของเว็บสามารถเขียนกฎแบบเดียวกับบ็อตอื่นๆ ที่ใช้งานอยู่แล้วในไฟล์ robots.txt ได้ เช่น
User-agent: Google-Extended
Disallow: /
ที่มา - Google
ภาพหุ่นยนต์ robots.txt จาก @googlesearchc