เบื้องหลัง Facebook A Look Back ใช้พื้นที่ 11PB, วิดีโอถูกเรนเดอร์ 720 ล้านไฟล์

by mk
16 March 2014 - 16:55

แคมเปญวิดีโอ Facebook ครบสิบปี A Look Back ถือว่าประสบความสำเร็จอย่างมาก มีผู้ใช้งานที่ดูวิดีโอมากถึง 200 ล้านบัญชี และล่าสุดทางทีมวิศวกรรมของ Facebook ก็ออกมาเผยสถิติและข้อมูลของระบบเบื้องหลังดังนี้

Facebook ตัดสินใจเดินหน้าโครงการ A Look Back เมื่อต้นเดือนมกราคมนี้เอง ทำให้มีเวลารวมแค่ 25 วันในการสร้างวิดีโอให้ผู้ใช้จำนวน 1,000 ล้านคนชม จึงต้องเตรียมตัวเรื่องโครงสร้างพื้นฐานของระบบแต่เนิ่นๆ (แต่ช่วงนั้นมีเหตุการณ์สำคัญทั้งแอพ Facebook Paper เปิดตัว และโอลิมปิกฤดูหนาว 2014 ที่อัตราการใช้งานจะเพิ่มขึ้นเยอะ)

แบนด์วิธ

เบื้องต้น Facebook ประเมินว่าในวันแรกที่ออก A Look Back จะมีวิดีโอถูกแชร์จำนวน 25 ล้านคลิป หนึ่งคลิปจะมีคนดูเฉลี่ย 5 คน เมื่อคำนวณออกมาแล้วพบว่าต้องเพิ่มแบนด์วิธอีก 62 Gbps แต่ก็ต้องเผื่อทราฟฟิกช่วง peak rate อีก 2-3 เท่า โดยไปจบที่ 187 Gbps

Facebook แจ้งเตือนคู่ค้าที่เป็น CDN ทั้งหลายล่วงหน้าว่าจะมีแคมเปญวิดีโอขนาดใหญ่ เพื่อให้บรรดา CDN ทั้งหลายเตรียมรับมือ

สตอเรจ

Facebook คาดว่าจะต้องใช้พื้นที่เก็บวิดีโอสำหรับผู้ใช้ทุกคนมากถึง 25 เพตะไบต์ (PB) ซึ่งต้องใช้ดิสก์เป็นจำนวนมาก (ถ้าเอามาเรียงกันแล้วสูงถึง 2/3 ของตึก Empire State) และต้องสั่งซื้อล่วงหน้า 1-2 สัปดาห์

การประมวลผลวิดีโอ

ช่วงแรก Facebook สามารถเรนเดอร์วิดีโอให้ผู้ใช้ได้วันละ 7 ล้านคน ซึ่งไม่พอกับความต้องการและเวลาที่มี ทำให้ทีมงานต้องแก้ปัญหาโดยแบ่งงานย่อยๆ และทำงานแบบขนาน

  • วิดีโอชุด A Look Back จะถูกมองเป็นวิดีโอคนละแบบกับวิดีโอปกติที่อัพขึ้น Facebook
  • ลดจำนวนสำเนาวิดีโอที่ต้องเก็บลง เพื่อลดพื้นที่และเวลาที่ต้องใช้
  • ปรับแต่งโค้ดของการประมวลผลวิดีโอให้เหมาะกับสภาพของศูนย์ข้อมูลอย่างเต็มที่ โดยทดสอบกับวิดีโอของทีมงานภายในจำนวน 150 คนก่อนว่า workflow ของการประมวลผลวิดีโอออกมาได้อย่างที่ต้องการ
  • ผลคือการเรนเดอร์วิดีโอทำได้ที่อัตราสูงสุด 9 ล้านวิดีโอต่อชั่วโมง
  • ปรับแต่งขนาดไฟล์ของวิดีโอให้เล็กที่สุดโดยยังรักษาคุณภาพไว้

ผลลัพธ์

Facebook เตรียมระบบทั้งหมดเสร็จในวันที่ 3 กุมภาพันธ์ (ก่อนครบ 10 ปีหนึ่งวัน) งานทั้งหมดเสร็จในเวลา 96 ชั่วโมง จากที่ประเมินว่าต้องใช้เวลาทั้งหมด 6 เดือน และใช้พื้นที่น้อยกว่าที่คาดถึงครึ่งหนึ่ง

วันงานจริง ตอนแรก Facebook คาดว่าอัตราการแชร์จะอยู่ที่ 10% ของผู้ใช้ที่ดูวิดีโอของตัวเอง แต่เอาเข้าจริงอัตราการแชร์สูงถึง 40%

  • มีวิดีโอถูกเรนเดอร์ทั้งหมด 720 ล้านไฟล์
  • พื้นที่สตอเรจที่ใช้งานจริง 11 PB (น้อยกว่าเป้าหมาย 25 PB)
  • แบนด์วิธขาออก 4PB , อัตราใช้งานขึ้นไปสูงสุดที่ 450 Gbps
  • ผู้ใช้งาน 200 ล้านคนดูวิดีโอ A Look Back ของตัวเองภายใน 2 วันแรก, อัตราการแชร์เกิน 50%

ที่มา - Facebook Engineering Blog

Blognone Jobs Premium