Yahoo! ใช้ Hadoop

by Conductor
4 August 2007 - 14:59

มีข่าวใหญ่ที่หลุดรอดจอเรดาร์ไป คือ Yahoo! เริ่มใช้ Hadoop ซึ่งเป็นโปรแกรม MapReduce สำหรับทำ search engine แล้ว ในขณะนี้ Yahoo! ใช้งาน Hadoop ประมาณหมื่นเครื่อง

MapReduce เป็นการแบ่งงานออกเป็นส่วนเล็กๆ เพื่อกระจายกันไปทำในคอมพิวเตอร์ขนาดเล็กเป็นจำนวนมาก (map) แล้วนำผลกลับมารวมกันเพื่อหาผลลัพท์ที่ต้องการ (reduce) MapReduce ได้รับความสนใจในหมู่นักวิจัยหลังจากที่กูเกิลเปิดเผยว่าใช้ MapReduce ในการทำ search engine เมื่อสามปีก่อนในช่วงที่กูเกิลเริ่มเปิดตัว GFS (Google File System) ซึ่งใช้เชื่อมโยงคอมพิวเตอร์เล็กๆ หลายพันเครื่องเข้าด้วยกัน

Hadoop เป็น MapReduce เขียนด้วยจาวา เดิมเคยเป็นส่วนของ Nutch มาก่อน ในขณะนี้ได้แยกออกจาก Nutch มาเป็นโครงการใต้ Lucene โดยตรงเนื่องจากมีความซับซ้อนมากขึ้น ในปัจจุบันนอกจากจะมีส่วนของ MapReduce แล้ว ยังมี HDFS (Hadoop Distributed File System) อีกด้วย

ที่มา:

Blognone Jobs Premium