OpenAI เริ่มทำ web crawler สำหรับดูดเว็บของตัวเอง แม้ในเว็บจะไม่ได้ระบุว่าจะดูดเว็บไปทำอะไรแต่ก็ระบุว่าข้อมูลที่ดูดไปอาจจะใช้สำหรับโมเดลปัญญาประดิษฐ์ในอนาคต
ตัว crawler จะใช้ User-Agent ว่า GPTBot สามารถกำหนดห้ามเข้าส่วนต่างๆ ของเว็บได้ทางไฟล์ robots.txt และทาง OpenAI ยังประกาศหมายเลขไอพีขาออก เพื่อให้เว็บไซต์บล็อคหรือตรวจสอบได้ว่าเป็น crawler ของ OpenAI จริง
ที่ผ่านมา OpenAI ไม่ได้เปิดเผยว่าตัว GPT ตัวหลังๆ ฝึกจากชุดข้อมูลใดบ้าง และแม้ว่าจะมีระบบปลั๊กอินให้ดูดเว็บได้ แต่ก็เป็นการอ่านเนื้อหาในเว็บเข้าไปให้ ChatGPT สรุปมาอีกทีเท่านั้น ไม่ใช่การฝึกโมเดลโดยตรง
ที่มา - OpenAI