สองปีก่อนกูเกิลเคยเสนองานวิจัย AutoML ที่สามารถ "ออกแบบ" โมเดล deep learning สำหรับงานเฉพาะทางได้โดยไม่ต้องอาศัยนักวิจัยมานั่งปรับโมเดล แต่ระบบเหล่านี้มักใช้พลังประมวลผลสูงมาก จนคนทั่วไปไม่สามารถลงทุนได้ ล่าสุดทีมวิจัยจาก MIT เสนอแนวทางใหม่ที่สร้างระบบออกแบบโมเดลโดยใช้พลังประมวลผลระดับเดียวกับการฝึกโมเดล deep learning ไม่ได้ต่างกันเป็นร้อยเท่าพันเท่าเหมือนแต่ก่อน
ระบบ neural architecture search (NAS) ที่ใช้ระบบอัตโนมัติออกแบบสถาปัตยกรรม deep learning แต่ระบบนี้อาศัยการปรับปรุงโมเดลไปเรื่อยๆ และฝึกโมเดลใหม่ทุกครั้ง ทำให้กินระยะเวลาประมวลผลสูงมาก
ProxylessNAS งานวิจัยใหม่นี้อาศัยการฝึกโมเดลที่มีจำนวนพารามิเตอร์มากเกินไป จากนั้นจึงดูว่าส่วนไหนของโมเดลไม่จำเป็น และตัดออก (path-level pruning) ทำให้กระบวนการฝึกโมเดลทำได้จบในการฝึกโมเดลเดียว
งานวิจัยก่อนหน้านี้เช่น AutoML ต้องการเวลาจีพียูประมาณ 48,000 ชั่วโมงเพื่อสร้างโมเดลจำแนกหมวดหมู่ภาพตามชุดข้อมูล CIFAR-10 ขณะที่ ProxylessNAS ต้องการเวลาเพียง 200 ชั่วโมงเท่านั้น การสร้างเทคนิคที่ใช้พลังประมวลผลต่ำเช่นนี้ทำให้คนทั่วไปที่มีการ์ดกราฟิกเพียงไม่กี่ใบสามารถใช้ระบบอัตโนมัติในการออกแบบโมเดลได้
ที่มา - MIT News, Open Review
ภาพโมเดลการจำแนกภาพจากชุดข้อมูล CIFAR-10 โดย ProxylessNAS เมื่อให้ออกแบบโดยเน้นการใช้งานบนฮาร์ดแวร์ที่ต่างกันออกไป ก็จะได้ผลที่ต่างกันด้วย