กูเกิลเพิ่มบริการด้าน LLM ตัวใหม่ คือ Vertex AI Agent Builder สำหรับการพัฒนาบริการจาก LLM โดยไม่ต้องเขียนโค้ดเองโดยตรง (ยกเว้นส่วนที่เป็น integration กับภายนอก)
บริการนี้รวมเอาความสามารถหลายตัว ได้แก่
- การทำ data store รวมเอกสารที่จะใช้งาน เป็นบริการเฉพาะในชื่อ Vertex AI Search
- ทำ function calling โดยใส่สเปค Open API และคำอธิบาย
- ระบบตรวจสอบคำตอบ (grounding)
- ระบบทดสอบคำตอบสุดท้ายของ Agent
- data connector เชื่อมบริการภายนอก เช่น ServiceNow, Salesforce
ตัว Vertex AI Search นั้นเป็น Retrieval Augmented Generation (RAG) สำเร็จรูปที่ประกอบความสามารถหลายอย่างมาพร้อมใช้งานแล้ว แต่รอบนี้กูเกิลเปิดฟีเจอร์ภายในออกมาให้ใช้แยกด้วย ได้แก่
- Grounding API: สำหรับตรวจคำตอบว่าตรงกับที่มาข้อมูลหรือไม่ หรือหากมีที่มาหลายชุดก็บอกได้ว่าตรงกับชุดไหน
- Ranking API: สำหรับจัดอันดับข้อมูลที่ตรงกับคำถาม แม่นยำกว่าการใช้ vector search อย่างเดียว แต่เหมาะกับข้อมูลจำนวนน้อยกว่า
- Document AI Layout Parser: บริการแปลงเอกสารให้อยู่ในรูปที่ LLM อ่านได้ง่าย ลบหัวกระดาษ/ท้ายกระดาษออก จัดหน้าใหม่
- Grounded Generation API: สร้างคำตอบจากคำถามและที่มาข้อมูลที่ให้มา
สำหรับคนที่ต้องการปรับแต่งละเอียดกว่านี้ยังสามารถใช้งาน LangChain on Vertex AI ได้อีกระดับ
ที่มา - Google Cloud Blog