Optima จาก Artificial Analysis — สร้าง benchmark จากข้อมูลของคุณเอง แล้ววัดทุกโมเดลในคลิกเดียว

Artificial Analysis — เจ้าของ leaderboard วัดโมเดลอิสระที่วงการอ้างอิงกันมากที่สุดเจ้าหนึ่ง — เปิดตัว Optima เมื่อ 13 ส.ค. 2026 (เราเก็บตกมารายงานหลังสื่อเริ่มทยอยคัฟเวอร์ช่วงสุดสัปดาห์) แนวคิดตรงไปตรงมา: benchmark สาธารณะบอกได้ว่าโมเดลไหน “เก่งโดยรวม” แต่ตอบไม่ได้ว่าโมเดลไหน เหมาะกับงานของคุณ — Optima ให้คุณสร้าง benchmark จาก workload จริงของตัวเอง แล้วรันเทียบโมเดลชั้นนำทั้งกระดานในคลิกเดียว

สร้าง benchmark ได้สามทาง

1. อัปโหลดชุดข้อมูลเอง (หรือดึงจาก Hugging Face datasets)
2. อธิบาย use case พร้อมตัวอย่าง input/output แล้วให้ระบบช่วยประกอบเป็นชุดทดสอบ
3. นำเข้า agent trace จากแพลตฟอร์ม observability อย่าง Arize และ Langfuse — อันนี้น่าสนใจสุด เพราะแปลว่า log การใช้งานจริงใน production กลายเป็นชุดทดสอบได้เลย

การตัดสินผลมีสองโหมด: rubric-based (ให้ judge ตรวจตามเกณฑ์ที่กำหนด) และ pairwise (จับคู่เทียบคำตอบสองโมเดล) และทุกการรันรายงานสามแกนพร้อมกัน: คะแนนคุณภาพ, ต้นทุนต่องาน และ เวลาต่องาน — ไม่ใช่แค่ใครฉลาดกว่า แต่ใครคุ้มกว่าและเร็วพอ

ค่าใช้จ่าย

โครงสร้างราคาเปิดเผยตรง ๆ: ค่าโทเค็นของโมเดลตามจริง ไม่บวก markup ส่วนค่า judge อยู่ที่ $0.125 ต่อเกณฑ์ต่อโมเดล สำหรับ rubric และ $0.375 ต่อการเปรียบเทียบ สำหรับ pairwise — ระดับที่ทีมเล็กทดลองได้โดยไม่ต้องขออนุมัติงบ

มุมมอง AI Curator

เครื่องมือตระกูล eval ไม่ใช่ของใหม่ (promptfoo, Langfuse เองก็มี eval, Braintrust ฯลฯ) แต่จุดที่ Optima ต่างคือมันมาจากคนกลางที่วัดโมเดลเป็นอาชีพ พร้อม harness ที่ต่อกับโมเดลใหม่ให้ทันทีที่ออก — งานน่าเบื่อที่สุดของการทำ eval เอง (ไล่ต่อ API ทุกเจ้า อัปเดตทุกครั้งที่มีโมเดลใหม่) หายไป

จังหวะเวลาก็พอดีอย่างมีนัย: สัปดาห์เดียวกันนี้เราเพิ่งรายงาน PerceptionBench ที่ชี้ว่า benchmark รวม ๆ กลบจุดอ่อนเฉพาะด้านของโมเดล และเดือนนี้มีโมเดลเปิดตัวถี่มาก (Qwen3.8 สองรุ่น, GLM-5.3, Gemini 3.7 Flash ลดราคาครึ่งหนึ่ง) — คำถาม “ควรย้ายไหม” ผุดขึ้นแทบทุกสัปดาห์ และคำตอบจาก leaderboard สาธารณะเชื่อได้น้อยลงเรื่อย ๆ เมื่อทุกแล็บ optimize เข้าหา benchmark ดัง ๆ

สำหรับทีมไทย นี่ตรงจุดเจ็บเป็นพิเศษ: งานภาษาไทยคือเคสที่ benchmark สาธารณะโกหกบ่อยที่สุด — โมเดลที่คะแนนอังกฤษสวยอาจสะดุดกับการตัดคำ ทับศัพท์ หรือเอกสารราชการไทยแบบคาดไม่ถึง การเอา trace งานไทยจริง 50–100 ตัวอย่างขึ้น Optima แล้ววัดทุกโมเดลพร้อมต้นทุนต่องาน เป็นการลงทุนหลักร้อยบาทที่ตอบคำถามซึ่งเถียงกันในทีมมาเป็นเดือน ข้อควรระวังเดียว: อย่าอัปโหลดข้อมูลลูกค้าจริงโดยไม่ผ่านการ anonymize — trace จาก production มักพก PII ติดไปด้วยเสมอ

แหล่งข่าว

• ประกาศเปิดตัว Optima — Artificial Analysis
• หน้าผลิตภัณฑ์ Optima
• รายงานข่าวจาก The Decoder