UK AISI: เบนช์มาร์กมาตรฐานประเมิน AI agent ต่ำกว่าความจริง — ให้โทเคนมากขึ้น ความสามารถพุ่งขึ้นชัด

เวลาเราอ่านคะแนนเบนช์มาร์กของ AI agent — SWE-Bench, TerminalBench, Humanity’s Last Exam — เรามักคิดว่ามันคือ “ความสามารถจริง” ของโมเดล แต่รายงานใหม่จาก UK AI Security Institute (AISI) (เผยแพร่ต้นเดือน ก.ค. 2026) เตือนว่าเลขพวกนั้นอาจ ประเมินต่ำกว่าความจริงอย่างเป็นระบบ เพราะเบนช์มาร์กส่วนใหญ่ให้ “งบโทเคนตายตัว” ต่อโจทย์ ซึ่งตัดความสามารถของ agent ที่จะได้มาถ้าปล่อยให้มัน “คิด/ลองต่อ” ด้วย compute มากขึ้น

ข้อสรุปหลักของ AISI คมมาก: ความสามารถของ agent ควรถูกวัดเป็น “เส้นโค้งเทียบกับ test-time compute” ไม่ใช่ตัวเลขจุดเดียว เพราะเมื่อเพิ่มงบประมวลผล ประสิทธิภาพที่วัดได้ขยับขึ้นอย่างมีนัยสำคัญ — เผยความสามารถที่การวัดแบบงบจำกัดมองไม่เห็นเลย

ให้โทเคนมากขึ้น อัตราสำเร็จพุ่งขึ้นเท่าไร

AISI ทดสอบข้ามหลายโดเมนและพบรูปแบบชัดเจน:

• งานวิศวกรรมซอฟต์แวร์ (TerminalBench 2.0, SWE-Bench Pro) — อัตราสำเร็จเพิ่มราว 25% เมื่อขยับงบจาก 1M → 10M โทเคน
• งานคณิต/วิชาการ (Humanity’s Last Exam) — ดีขึ้นราว 22% เมื่อเพิ่มงบถึง ~5M โทเคน
• งานความมั่นคงไซเบอร์ — ราว 8% ของโจทย์แก้ได้ต่อเมื่อมีงบ 10M+ โทเคน และบางข้อต้องใช้ถึง 50M โทเคน

พูดง่าย ๆ คือโมเดลตัวเดิม เบนช์มาร์กชุดเดิม แต่แค่เปลี่ยนงบ compute ก็ได้คะแนนต่างกันมาก — คะแนนที่เห็นในลีดเดอร์บอร์ดจึงเป็นเพียง “หนึ่งจุดบนเส้นโค้ง” เท่านั้น

กฎกำลัง: เวลาของมนุษย์ ↔ โทเคนของ agent

อีกชิ้นที่น่าสนใจคือความสัมพันธ์ระหว่าง “เวลาที่มนุษย์ใช้ทำงาน” กับ “โทเคนที่ agent ต้องใช้” ซึ่งเป็น กฎกำลัง (power law) เลขชี้กำลังราว 0.7–1.0:

• งานระดับ 1 นาที ของมนุษย์ → หลัก พัน โทเคน
• งานระดับ 1 ชั่วโมง → หลัก ล้าน โทเคน
• งานระดับ 1 สัปดาห์ → เข้าใกล้หลัก พันล้าน โทเคน

ตัวอย่างรูปธรรม: โจทย์ไซเบอร์ชื่อ “The Last Ones” ที่ประเมินว่าเป็นงานระดับผู้เชี่ยวชาญ 20 ชั่วโมง ต้องใช้งบขั้นต่ำ 30M โทเคน ก่อนที่โมเดลที่ทดสอบตัวใดจะแก้ได้สำเร็จ

ผลพวงที่สำคัญต่อการมองแนวโน้ม: เมื่อวัดที่งบ 2.5M โทเคน ความสามารถด้านไซเบอร์ดูเหมือน “เพิ่มเป็นสองเท่าทุก ~4.7 เดือน” แต่พอวัดที่งบ 50M โทเคน เส้นแนวโน้มชันขึ้นราว 60% — แปลว่าความเร็วของความก้าวหน้าที่เรารับรู้ ขึ้นกับ วิธีวัด ด้วย ไม่ใช่แค่ตัวโมเดล

มุมมอง AI Curator

รายงานนี้สำคัญกว่าที่เห็น เพราะมันกระทบสองฝั่งพร้อมกัน — ฝั่ง ความปลอดภัย/นโยบาย และฝั่ง นักพัฒนาที่ deploy จริง สำหรับฝั่งความปลอดภัย ข้อความของ AISI ตรงไปตรงมา: ถ้าเราประเมินความสามารถอันตราย (เช่น การเจาะระบบ) ด้วยงบโทเคนต่ำ เราอาจ “ปลอบใจตัวเอง” ว่าโมเดลยังทำไม่ได้ ทั้งที่จริงมันทำได้ถ้ามีคนยอมจ่าย compute พอ — เพดานความสามารถที่แท้จริงจึงถูกกำหนดโดยงบประมาณ ไม่ใช่โดยตัวโมเดล

สำหรับนักพัฒนา บทเรียนที่ใช้ได้ทันทีคือ อย่าเชื่อคะแนนเบนช์มาร์กเดียวเป็นเพดานของสิ่งที่ agent ทำได้ ถ้าคุณเคยลองให้ agent แก้บั๊กแล้วมันล้มเหลว อาจไม่ใช่เพราะ “ทำไม่ได้” แต่เพราะคุณตัดมันกลางทาง (จำกัด step/โทเคนต่ำเกินไป) — และในทางกลับกัน การไล่เพิ่มงบก็มี จุดคุ้มทุน: งานคณิตอิ่มตัวราว 5M ขณะที่บางงานไซเบอร์ยังไต่ต่อถึง 50M ทีมที่รัน agent ในโปรดักชันควรคิดเรื่อง “budget curve” ของตัวเอง — วัดว่างานประเภทไหนคุ้มที่จะปล่อยให้คิดยาว งานไหนควรตัดจบเร็ว แทนที่จะตั้งลิมิตเดียวครอบทุกงาน

มุมไทย/SEA: ต้นทุน compute คือข้อจำกัดจริงของทีมที่นี่ รายงานนี้จึงเป็นดาบสองคม — มันบอกว่า “ยิ่งจ่ายยิ่งเก่ง” ซึ่งเข้าทางผู้ที่มีทุนหนา แต่ก็เป็นเหตุผลที่ดีที่จะลงทุนกับ การจัดงบ compute อย่างชาญฉลาด (routing งานง่ายไปโมเดลเล็ก/โลคัล เก็บงบก้อนใหญ่ไว้กับงานที่คุ้มจริง) และกับเทคนิคลดต้นทุนต่อโทเคน — ซึ่งเชื่อมโดยตรงกับข่าวเครื่องมืออย่าง pxpipe ที่เรารายงานวันนี้ ยิ่งต้นทุนต่อโทเคนถูกลง เส้นโค้ง “ยิ่ง compute ยิ่งเก่ง” ก็ยิ่งเอื้อมถึงสำหรับทีมเล็ก

แหล่งข่าว

• More compute, more capability: why AI agent evals need to account for test-time compute — UK AISI
• UK’s AI Security Institute finds standard benchmarks systematically underestimate what AI agents can actually do — The Decoder