เคล็ดลับความว่องไวในการค้นหาผ่านกูเกิลคือระบบคอมพิวเตอร์สมรรถนะสูง ซึ่งประกอบด้วยเทคโนโลยีหลายตัวอย่าง MapReduce หรือ GFS แน่นอนว่ากูเกิลเก็บไว้ใช้เองคนเดียว อย่างไรก็ตามมีคนเขียนโปรแกรมที่ทำงานลักษณะเดียวกันออกมา (โดยดูจากเปเปอร์ของกูเกิล) ชื่อว่า Hadoop ซึ่งปัจจุบันอยู่ใต้โครงการ Apache ผมทราบมาบ้างว่าคนแถวๆ นี้ก็เล่น Hadoop กันอยู่หลายคน
Yahoo! เป็นหนึ่งในผู้ใช้ Hadoop รายใหญ่ของโลก (Facebook กับ IBM ก็ใช้) อาจเป็นเพราะต้องไล่กูเกิลให้ทันในเรื่องสมรรถนะ แต่อีกเหตุผลก็คือ Doug Cutting นักพัฒนาหลักของ Hadoop (รวมถึง Lucene และ Nutch) ปัจจุบันมาทำงานกับ Yahoo!
ล่าสุด Yahoo! ประกาศแจกซอร์สโค้ดของ Hadoop เวอร์ชันที่ใช้ภายในบริษัทแล้ว (ใต้ชื่อ Yahoo! Distribution of Hadoop) โดย Yahoo! Hadoop ก็มีแพตช์ต่างๆ เพิ่มมาจาก Apache Hadoop ซึ่ง Yahoo! อ้างว่าได้ปรับปรุงประสิทธิภาพ เสถียรภาพเพิ่มขึ้นมาอีกมาก
Yahoo! Distribution of Hadoop ใช้สัญญาอนุญาตแบบโอเพนซอร์สเหมือนกับ Apache Hadoop ดังนั้นแพตช์ทั้งหลายก็สามารถกลับเข้า Hadoop หลักได้ง่าย
ที่มา - Yahoo! Developer Network Blog