กูเกิลเพิ่มชื่อบ็อต Google-Extended ดูดข้อมูลไปใช้เทรน AI, เจ้าของเว็บบล็อคได้ผ่าน robots.txt

by mk
29 September 2023 - 11:58

กูเกิลประกาศชื่อบ็อต crawler ไล่ดูดหน้าเว็บตัวใหม่ชื่อ Google-Extended มีหน้าที่ดูดข้อมูลไปใช้สำหรับงาน AI โดยเฉพาะ เช่น Bard และ Vertex AI เพื่อให้เจ้าของเว็บไซต์สามารถกำหนดค่าได้ง่ายว่าอนุญาตให้บ็อตดูดหน้าเว็บหรือไม่ ผ่านไฟล์ robots.txt ที่ใช้งานกันอยู่แล้ว

เนื่องจากบ็อต Google-Extended เป็นบ็อตตามมาตรฐานของกูเกิล เจ้าของเว็บสามารถเขียนกฎแบบเดียวกับบ็อตอื่นๆ ที่ใช้งานอยู่แล้วในไฟล์ robots.txt ได้ เช่น

User-agent: Google-Extended
Disallow: /

ที่มา - Google

ภาพหุ่นยนต์ robots.txt จาก @googlesearchc

Blognone Jobs Premium