CNBC ได้เอกสารภายในของกูเกิล เผยรายละเอียดของโมเดล PaLM 2 ตัวใหม่ของกูเกิล
ขนาดของโมเดล PaLM 2 เทรนด้วยข้อมูล (token หรือจำนวนคำ) รวม 3.6 ล้านล้านคำ และจำนวนพารามิเตอร์ 3.4 แสนล้านพารามิเตอร์ หากเทียบกับโมเดล PaLM เวอร์ชันแรกที่ใช้ข้อมูลเทรน 7.8 แสนล้านคำ และพารามิเตอร์ 5.4 แสนล้านพารามิเตอร์ จะเห็นว่าจำนวนพารามิเตอร์ของ PaLM 2 น้อยกว่า สอดคล้องกับที่กูเกิลประกาศในงาน Google I/O ว่าโมเดลใหญ่กว่าไม่ได้ดีกว่าเสมอไป โดยกูเกิลใช้เทคนิคเรียกว่า compute-optimal scaling ช่วยลดจำนวนพารามิเตอร์และต้นทุนในการประมวลผลลง
PaLM 2 มีให้เลือก 4 ขนาดจากเล็กไปใหญ่ เรียกตามชื่อสัตว์คือ Gecko, Otter, Bison, และ Unicorn โดย Gecko มีขนาดเล็กจนรันสามารถในโทรศัพท์มือถือได้
ในงาน Google I/O 2023 รอบนี้ กูเกิลเปิดตัวฟีเจอร์ด้าน AI ให้บริการต่างๆ รวม 25 ตัว ซึ่งทั้งหมดใช้โมเดล PaLM 2 รันอยู่เบื้องหลัง
ที่มา - CNBC