Microsoft เปิด ThinkingBox บน Hugging Face: วัดเอเจนต์จาก "ข้อมูลในฐานข้อมูล" ไม่ใช่คำตอบ แล้วรันซ้ำ 20 รอบ — Opus 5.5 นำ pass@1 แต่ผ่านครบ 20/20 ได้เท่า Opus 5 คือ 241 งาน

3 ต.ค. 2026 Microsoft ร่วมกับ Hugging Face เผยแพร่บทความ “The Agent Said It Was Done. The Database Disagreed.” และปล่อย ThinkingBox-Bench ให้รันได้ผ่าน OpenEnv ของ Hugging Face ThinkingBox เป็น sandbox สำหรับทดสอบเอเจนต์ที่ไม่ได้ตรวจว่าเอเจนต์ “ตอบว่าอะไร” แต่ตรวจว่า สถานะสุดท้ายในฐานข้อมูลถูกต้องหรือไม่ แล้วรันงานเดิมซ้ำ 20 รอบ เพื่อดูว่าเอเจนต์ทำถูกได้สม่ำเสมอแค่ไหน (เปเปอร์ arXiv 2608.19741 ออกตั้งแต่ ส.ค. ส่วนข่าวรอบนี้คือการเปิด benchmark ให้นักพัฒนารันเองได้)

บทความเปิดด้วยตัวอย่างที่ชัดเจน เอเจนต์บริการลูกค้าเรียก tool ถูกต้องทั้ง 9 ครั้ง อ่าน policy ถูก แล้วปิดงานด้วยข้อความสุภาพ แต่สถานะ ticket ในระบบกลับเป็น solved ทั้งที่ควรเป็น hold ถ้าใช้ grader ที่ดูแค่ว่าเรียก tool ถูกไหม งานนี้จะผ่าน แต่ฐานข้อมูลบอกว่าไม่ผ่าน

ตัวเลขหลัก: เก่งรอบเดียวกับเก่งทุกรอบไม่เหมือนกัน

ThinkingBox-Bench มี 507 งาน ใน 5 โดเมน (retail, ประกันรถยนต์, ท่องเที่ยว, neobank, ที่ปรึกษา) ทดสอบกับ 18 โมเดล และรายงาน 3 ค่า ได้แก่ pass@1 (สัดส่วนรอบที่สำเร็จ), pass@20 (งานที่สำเร็จอย่างน้อยหนึ่งรอบใน 20 รอบ) และ 20/20 (งานที่สำเร็จครบทุกรอบ)

โมเดล	pass@1 รวม	ผ่าน 20/20	ต้นทุนต่องานที่ผ่าน 20/20
Claude Opus 5.5	67.16%	241	$7.80
Claude Opus 5	66.50%	241	$13.30
GPT-5.4	65.36%	128	$6.80
GPT-5.6 Sol	61.91%	82	$9.76
GPT-6 Astra	58.31%	231	$7.45
Kimi-K3 (open)	57.37%	68	$20.68
Qwen3.8-27B (open)	51.70%	38	$24.36

ข้อสังเกตที่ทีมเน้น:

• Opus 5.5 เทียบ Opus 5: pass@1 สูงกว่า 0.66 จุด และแก้ได้กว้างกว่า แต่ “passes exactly the same number of tasks on all 20 attempts: 241” ความแม่นที่เพิ่มขึ้นไม่ได้ทำให้เชื่อถือได้มากขึ้นเลย
• Kimi-K3 เป็นโมเดลเปิดที่แก้ได้กว้างที่สุด คือแก้ได้อย่างน้อยหนึ่งครั้งถึง 476 จาก 507 งาน และนำในโดเมน retail ที่ 82.24% แต่ผ่านครบ 20/20 ได้แค่ 68 งาน (13.41%)
• GPT-6 Astra pass@1 ต่ำกว่า GPT-5.4 แต่ผ่าน 20/20 ได้ 231 งาน มากกว่า GPT-5.4 ราว 1.8 เท่า
• ความยากแตกต่างตามโดเมนมาก: Claude Opus 4.6 ได้ 68.62% ใน retail แต่ได้แค่ 8.30% ในประกันรถยนต์
• ต้นทุน: ถ้าคิดต่องานที่สำเร็จหนึ่งครั้ง GPT-5.6 Sol ถูกที่สุด ($0.127) แต่ถ้าคิดต่องานที่ผ่าน 20/20 กลับแพงเป็นอันดับ 4 ($9.76)

ความล้มเหลวส่วนใหญ่ไม่ได้มาจากการคิดผิด

ทีมจำแนกความล้มเหลวแต่ละ trace ไว้ดังนี้: การใช้ tool 79.9%, อัปเดตสถานะผิด 10.3%, แก้ปัญหาให้ผู้ใช้ไม่ครบ 7.0% และไม่ได้เปลี่ยนสถานะอะไรเลย 2.9% สรุปคือเอเจนต์มักทำงานไปได้ไกลพอสมควร แต่ รับมือกับ tool error, เงื่อนไขที่ไม่ผ่าน หรือผล lookup ว่างเปล่าไม่ได้ ใน ablation ที่ใช้ trial ที่ถูกต้อง 121,680 ครั้ง มี 67.24% ของรอบที่ล้มเหลวที่จบการทำงานแบบดูเหมือนปกติ ไม่มี error ใดแสดงออกมา

ข้อแนะนำจากทีมคือ ให้ตรวจสถานะปลายทางก่อน commit, แยกประเภท error เพื่อให้ retry เฉพาะกรณีที่กู้คืนได้, ลดจำนวน tool ให้เหลือเท่าที่ workflow ต้องใช้ และให้คนอนุมัติการเปลี่ยนแปลงที่ย้อนกลับยาก ทีมยอมรับเองว่ายังไม่ได้วัดว่าวิธีเหล่านี้ช่วยได้จริงแค่ไหน

ลองรันเอง

ต้องใช้ Linux หรือ WSL, Python 3.11+, uv และ Docker ขั้นตอนโดยย่อ:

1. clone huggingface/OpenEnv แล้วใช้ env envs/thinkingbox_env
2. clone microsoft/thinkingbox-data แล้ว checkout thinkingbox-bench-v1.0
3. ติดตั้ง CLI tb จาก microsoft/thinkingbox, รัน Typesense 30.1 ใน Docker แล้วสั่ง tb mcp-start เพื่อเปิด Session Proxy และ MCP servers
4. รัน OpenEnv server พร้อม config ที่ระบุ endpoint ของ 3 บทบาท (agent, simulated user, judge) ใช้ endpoint เดียวกันทั้งหมดก็ได้ จากนั้นรัน thinkingbox-eval

ทุกรอบจะได้ MCP session แยกกันพร้อมฐานข้อมูลที่เริ่มต้นใหม่ ในจำนวนนี้ 477 งานตรวจจากสถานะอย่างเดียว อีก 30 งานใช้ rubric ตรวจคำตอบเพิ่ม โค้ดใช้ไลเซนส์ MIT และชุดข้อมูลใช้ CDLA-Permissive-2.0

มุมมอง AI Curator

ผมว่าบทความนี้ตอบคำถามที่ทีมที่ทำเอเจนต์จริงเจอทุกวัน แต่ leaderboard ส่วนใหญ่ไม่ได้วัด คือ “ถ้าให้ทำซ้ำ 20 ครั้ง จะพลาดกี่ครั้ง” ตัวเลขที่ Opus 5.5 กับ Opus 5 ผ่าน 20/20 ได้ 241 งานเท่ากันพอดี แสดงให้เห็นว่าการอัปเกรดโมเดลตามคะแนน pass@1 อาจไม่ได้ทำให้ระบบเสถียรขึ้นเลย ส่วนกรณี Kimi-K3 ที่แก้ได้กว้างที่สุดแต่ผ่านครบ 20/20 ได้น้อย ก็เป็นคำเตือนสำหรับคนที่กำลังจะเปลี่ยนไปใช้โมเดลเปิดเพื่อลดต้นทุน: เมื่อคิดต้นทุนต่องานที่ผ่าน 20/20 Kimi-K3 แพงกว่า Opus 5.5 ราว 2.7 เท่า

สำหรับทีมไทยที่เริ่มใช้เอเจนต์กับระบบหลังบ้าน เช่น ธนาคาร ประกัน หรือ e-commerce ซึ่งตรงกับโดเมนใน benchmark นี้แทบทั้งหมด ข้อเสนอเชิงปฏิบัติที่ได้คือ อย่าเชื่อข้อความสรุปของเอเจนต์ ให้ query ฐานข้อมูลตรวจเองก่อนปิดงาน และให้ลงทุนกับชั้น error handling ของ tool มากกว่าการเปลี่ยนไปใช้โมเดลที่แพงขึ้น เพราะ 4 ใน 5 ของความล้มเหลวเกิดจากตรงนั้น ข้อควรระวังคือ งานและ policy ใน benchmark นี้เป็นภาษาอังกฤษทั้งหมด ถ้าเอาไปใช้กับ workflow ภาษาไทย ตัวเลขน่าจะแย่กว่านี้ ทาง OpenEnv เปิดให้สร้างสถานการณ์ใหม่บนอินเทอร์เฟซเดียวกันได้ ซึ่งเป็นโอกาสให้ใครสักคนทำชุดทดสอบภาษาไทยขึ้นมา

แหล่งข่าว

• Hugging Face Blog — The Agent Said It Was Done. The Database Disagreed.
• GitHub — microsoft/thinkingbox
• Hugging Face — microsoft/ThinkingBox-Bench (dataset)
• GitHub — OpenEnv: envs/thinkingbox_env