Terminal-Bench-Science 0.1 ออกแล้ว — 70 งานวิจัยจริงในเทอร์มินัล คัดจากข้อเสนอ 920 ชิ้น และเอเจนต์ที่เก่งที่สุดทำได้แค่ 30%
เบนช์มาร์กเอเจนต์ส่วนใหญ่ที่อ้างว่า “วัด AI for Science” มักวัดความรู้ระดับตำราเรียน — ตอบคำถามฟิสิกส์ เขียนสมการ อธิบายกลไก ซึ่งไม่ใช่สิ่งที่นักวิจัยทำจริงในแต่ละวัน งานจริงคือการนั่งหน้าเทอร์มินัล ต่อ pipeline ประมวลผลข้อมูล รันซิมูเลชัน แก้ dependency ที่พัง และไล่ผลลัพธ์ให้ reproduce ได้
วันที่ 26 สิงหาคม 2026 ทีม Terminal-Bench ร่วมกับ Stanford University และ Laude Institute ปล่อย Terminal-Bench-Science 0.1 ออกมาปิดช่องนั้น — เบนช์มาร์ก 70 งาน ที่ทุกงานถอดมาจากเวิร์กโฟลว์ที่นักวิทยาศาสตร์ตัวจริงเคยทำ รันในคอนเทนเนอร์ และ ตรวจด้วยเทสต์เฉพาะงานแบบ deterministic ไม่ใช้ LLM มาให้คะแนน รีโปอยู่ที่ harbor-framework/terminal-bench-science ใต้ใบอนุญาต Apache-2.0 โดยแท็ก v0.1.0 ขึ้นเมื่อ 26 ส.ค. เวลา 10:24 UTC
ตัวเลขที่เจ็บ: เอเจนต์ที่ดีที่สุดทำได้ 30%
แต่ละโมเดลรัน 3 ครั้งอิสระต่อหนึ่งงาน ผลอยู่บนลีดเดอร์บอร์ดสาธารณะ:
| อันดับ | โมเดล (harness) | resolution rate |
|---|---|---|
| 1 | Claude Opus 5 (Claude Code) | 30.0% |
| 2 | GPT-5.6 Sol (Codex) | 22.4% |
| 3 | Claude Fable 5 (Claude Code) | 21.4% |
| 4 | Claude Opus 4.8 (Claude Code) | 10.5% |
| 5 | GPT-5.6 Terra (Codex) | 8.6% |
| 6 | GLM 5.3 (Claude Code) | 8.1% |
| 7 | Kimi K3 (Claude Code) | 7.1% |
| 8 | Grok 4.6 (Grok Build) | 7.1% |
| 9 | GPT-5.6 Luna (Codex) | 3.3% |
เทียบกับ Terminal-Bench 3.0 ซึ่งเป็นเบนช์มาร์กเทอร์มินัลสายซอฟต์แวร์ทั่วไป ตัวเลขร่วงแบบคนละโลก:
- Claude Fable 5: 83.8% → 21.4%
- Claude Opus 4.8: 78.9% → 10.5%
- GPT-5.6 Terra: 78.4% → 8.6%
ทีมผู้จัดทำระบุว่า Terminal-Bench-Science กดอัตราผ่านลงเกิน 10 จุดสำหรับทุกโมเดลที่วัดบนทั้งสองเบนช์ ขณะที่ยังแยกความสามารถระหว่างโมเดลระดับ frontier ได้ดีพอ ๆ กัน — คือยากขึ้นโดยไม่ได้กลายเป็นเบนช์ที่ทุกตัวได้ศูนย์เท่ากันหมด ซึ่งเป็นจุดที่เบนช์มาร์กยาก ๆ หลายตัวพลาด
แยกตามสาขาแล้วภาพยิ่งน่าสนใจ Opus 5 ทำ Earth Sciences ได้ 45.8% สูงกว่าค่าเฉลี่ยตัวเองมาก แต่ Mathematical Sciences ได้ 25.5% ซึ่งแพ้ GPT-5.6 Sol ที่ทำได้ 31.4% — ไม่มีเอเจนต์ตัวไหนเก่งทุกสาขา
920 ข้อเสนอ เหลือ 70 งาน
กระบวนการคัดคือส่วนที่ผมคิดว่าน่าเชื่อถือที่สุดของโปรเจกต์นี้ เพราะมันโหดกว่าเบนช์มาร์กทั่วไปมาก ระบบทำงานเป็นสามด่าน Propose → Build → Review:
- 920 ข้อเสนอเริ่มต้น
- 464 ผ่านอนุมัติให้ลงมือทำ
- 386 กลายเป็น pull request จริง
- 70 ถูกรับเข้าเบนช์มาร์ก
อัตรารอดคือราว 7.6% จากข้อเสนอทั้งหมด ทุก PR ต้องผ่าน domain reviewer (ตรวจความถูกต้องเชิงวิทยาศาสตร์และความสมจริง) → technical reviewer (ตรวจโครงสร้างงานกับกลไกตรวจคำตอบ) → bar raiser ตรวจคุณภาพรอบสุดท้าย ผู้ร่วมเขียนมี 376 คนจาก 22 ประเทศ และคนที่ PR ถูก merge ได้เครดิตเป็นผู้ร่วมเขียนเปเปอร์
การกระจายของ 70 งาน:
- Life Sciences 19 — ชีววิทยา 8, การแพทย์และสุขภาพ 6, ประสาทวิทยา 4, นิเวศวิทยาและวิวัฒนาการ 1
- Physical Sciences 17 — ดาราศาสตร์และจักรวาลวิทยา 6, ฟิสิกส์ 5, วัสดุศาสตร์ 4, เคมี 2
- Mathematical Sciences 17 — คณิตศาสตร์ประยุกต์และการคำนวณเชิงวิทยาศาสตร์ 6, วิจัยดำเนินงานและออปติไมเซชัน 5, คณิตศาสตร์เชิงรูปนัยและการพิสูจน์ทฤษฎีบท 3, สถิติ 3
- Engineering Sciences 9 — เครื่องกลและอากาศยาน 5, ไฟฟ้าและคอมพิวเตอร์ 2, เคมีและกระบวนการ 1, โยธาและโครงสร้าง 1
- Earth Sciences 8 — ธรณีศาสตร์ 5, บรรยากาศและภูมิอากาศ 1, มหาสมุทรและทะเล 1, สิ่งแวดล้อมและความยั่งยืน 1
การให้คะแนนตรวจ ชิ้นงานที่จับต้องได้ — ผลวิเคราะห์ ซิมูเลชัน บทพิสูจน์ โค้ด และ data product — ด้วยเทสต์ที่ reproduce ได้ ไม่ใช่การให้ LLM อ่านแล้วให้ดาว
ต้นทุนต่อคะแนน: จุดที่คนสร้างเอเจนต์ควรดู
รายงานแนบกราฟ Pareto สองแกนที่มีประโยชน์กว่าอันดับเปล่า ๆ:
- ต้นทุน — Opus 5 แพงที่สุดที่ราว $7.0k สำหรับการรันทั้งชุด แต่ได้คะแนนสูงสุด; GPT-5.6 Sol ทำคะแนนเท่ากับ Fable 5 ด้วยต้นทุน $4.2k เทียบกับ $14.2k ของ Fable 5 — ต่างกันกว่าสามเท่าที่ผลลัพธ์เท่ากัน
- โทเคน — Claude Fable 5 ใช้โทเคนน้อยกว่า GPT-5.6 Sol ราว 25% (6.4B เทียบ 8.4B) ที่คะแนนใกล้เคียงกัน
- มีแค่ Kimi K3 กับ Opus 5 ที่อยู่บนเส้น Pareto ทั้งด้านต้นทุนและด้านความประหยัดโทเคน
ตัวเลขชุดนี้บอกอย่างหนึ่งที่มักหายไปจากพาดหัว: การเลือกโมเดลสำหรับงานเอเจนต์ระยะยาวคือการเลือกจุดบนกราฟ ไม่ใช่การเลือกอันดับหนึ่ง ถ้างานของคุณรับ 22% ได้ การจ่ายเพิ่มสามเท่าเพื่อไป 30% อาจไม่คุ้ม
ใครอยู่เบื้องหลัง และจะร่วมยังไง
โฮสต์โดย Stanford University และ Laude Institute โดยมี Stanford AI Lab (SAIL), Stanford HAI, Stanford AI Measurement Science (AIMS), NSF AI Institute for Foundations of Machine Learning (IFML) และ Allen Institute for AI (Ai2) ร่วมอยู่ด้วย ทุนและการสนับสนุนมาจาก Laude Institute (โครงการ Slingshots), Snorkel AI (Open Benchmarks Grants), 2077AI Open Source Foundation, UniPat AI และ Modal ส่วน สปอนเซอร์คอมพิวต์คือ Bespoke Labs, Anthropic, Google, Moonshot AI, SpaceXAI และ Z.ai — ซึ่งก็คือหลายเจ้าที่มีโมเดลอยู่บนลีดเดอร์บอร์ดนี้ ควรอ่านตัวเลขโดยรู้ข้อนี้ไว้ด้วย แม้กลไกตรวจจะเป็นเทสต์อัตโนมัติที่ตรวจสอบซ้ำได้ก็ตาม
รอบถัดไป 0.2 ปิดรับ pull request 5 ตุลาคม 2026 โดยจะเพิ่มงาน ขยายสาขา ปลดงานที่อิ่มตัวหรือเขียนไม่รัดกุมออก และรันลีดเดอร์บอร์ดใหม่กับโมเดลรุ่นล่าสุด ทีมงานย้ำหลักการว่า “each release is calibrated against the frontier at the time” — คือทุกเวอร์ชันถูกตั้งความยากเทียบกับ frontier ณ เวลานั้น
รันเองได้ผ่านเฟรมเวิร์ก Harbor โดยเลือก agent และ model จากบรรทัดคำสั่ง เอกสารแนะนำให้รัน oracle solution 5 ครั้งเพื่อยืนยันว่าแต่ละงานทำงานถูกต้องในแซนด์บ็อกซ์ (แนะนำ Modal หรือ Daytona)
มุมมอง AI Curator
สิ่งที่ทำให้เบนช์มาร์กนี้น่าเชื่อกว่าค่าเฉลี่ยไม่ใช่ตัวเลข 30% แต่คือ อัตราการปฏิเสธ 92% ในกระบวนการคัดงาน เบนช์มาร์กสมัยนี้ล้นตลาดจนแทบไม่มีความหมาย เพราะส่วนใหญ่สร้างงานด้วยการให้โมเดลสังเคราะห์โจทย์แล้วให้อีกโมเดลตรวจ ซึ่งวนอยู่ในความลำเอียงเดียวกันทั้งวง การที่โปรเจกต์นี้ยอมทิ้งงานไป 850 ชิ้นเพื่อเก็บ 70 ชิ้น และให้มนุษย์ในสาขาเป็นคนตัดสินความสมจริง คือการเลือกที่ถูกต้อง — แม้มันจะทำให้เบนช์มาร์กเล็กจนขนาดตัวอย่างต่อสาขาอยู่ระดับ 8–19 งาน ซึ่งเป็นข้อจำกัดที่ต้องรับรู้เวลาอ่านคะแนนรายสาขา (45.8% ของ Opus 5 ใน Earth Sciences มาจากฐานแค่ 8 งาน — อย่าอ่านเป็นตัวเลขที่มีนัยสำคัญทางสถิติ)
ช่องว่าง 84% → 21% ระหว่าง Terminal-Bench 3.0 กับ 0.1 นี้ คือคำตอบที่ตรงที่สุดสำหรับคำถามที่วนอยู่ในวงการมาทั้งปีว่า “เอเจนต์พร้อมทำวิจัยแทนคนหรือยัง” — ยัง และไม่ใกล้เคียง สิ่งที่เอเจนต์ทำได้ดีคืองานเขียนซอฟต์แวร์ที่มีนิยามความสำเร็จชัด มีเทสต์ให้ผ่าน และมีข้อมูลเทรนล้นเหลือบน GitHub ส่วนงานวิจัยจริงเต็มไปด้วยเครื่องมือเฉพาะทาง ฟอร์แมตข้อมูลแปลก ๆ และความรู้เชิงบริบทที่ไม่มีใครเขียนลง Stack Overflow
สำหรับนักวิจัยไทยและอาเซียน ผมเห็นโอกาสที่เป็นรูปธรรมกว่าการอ่านตัวเลข: นี่คือเบนช์มาร์กที่เปิดรับ contribution และให้เครดิตเป็นผู้ร่วมเขียนเปเปอร์ โดยปิดรับรอบหน้า 5 ตุลาคม สาขาที่ยังบางมากอย่าง Earth Sciences (8 งาน) และ Engineering (9 งาน) คือช่องว่างที่งานจากภูมิภาคเราเข้าไปเติมได้ตรง ๆ — เวิร์กโฟลว์วิเคราะห์ข้อมูลมรสุมและน้ำท่วม การประมวลผลภาพดาวเทียมเพื่อติดตามฝุ่นข้ามพรมแดน หรือ pipeline ด้านสมุทรศาสตร์อ่าวไทย ล้วนเป็นงานคำนวณจริงที่ verify ได้ด้วย pytest และแทบไม่มีอยู่ในเบนช์มาร์กตะวันตกเลย ต้นทุนคือเวลาเขียนงานหนึ่งชิ้นให้ผ่านสามด่าน ผลตอบแทนคือชื่อบนเปเปอร์ที่แล็บ frontier ทุกเจ้าจะอ้างอิง และที่สำคัญกว่านั้นคือการทำให้โจทย์ของภูมิภาคเราอยู่ในชุดข้อสอบที่โมเดลรุ่นหน้าจะถูกฝึกให้ทำได้
แหล่งข่าว
อ่านเพิ่มในหมวด เครื่องมือนักพัฒนา
Betelgeuse รัน Qwen3.8 Flash Next ขนาด 68GB บน RTX 3060 กับแรม 16GB ส่วน Basalt วัดให้เห็นว่าเอนจินที่เร่งด้วยแฟล็กลัดทำให้โมเดลลืมของ
Betelgeuse ฟอร์ก llama.cpp ที่เปิดเมื่อ 31 ต.ค. ดึง expert จาก NVMe เข้า VRAM ตามต้องการ อ้าง 22 tok/s แบบไม่ทิ้ง expert แต่ README เตือนเองว่ายังทดลองและตัวเลขมาจากคนละรอบ วันเดียวกันผู้พัฒนา Basalt เผยผลวัดว่าแฟล็กเร่งความเร็วทำคุณภาพ Q8 ตกไปใกล้ Q2
กฎห้ามโคลนเกมของ Claude Code เริ่มกระทบงานจริง บริษัทรับทำเกมกระดานร้องงานลูกค้าหยุด แต่รายงานหลายชิ้นปนกับตัวกรองไซเบอร์คนละเรื่อง
ต่อจากที่เราพบกฎนี้ในไบนารี Claude Code ผู้ใช้เริ่มรายงานว่างานเชิงพาณิชย์ถูกปฏิเสธ และ Tom's Hardware กับ Mashable หยิบไปรายงาน แต่เมื่อไล่ issue ที่อ้างถึง พบว่าหลายรายการเกิดก่อนกฎจะมา จึงน่าจะเป็นตัวกรองด้านไซเบอร์ ส่วน Anthropic ยังไม่ชี้แจง
Claude Code ส่ง transcript ของ background agent ให้โมเดลทุก ~30 วินาทีเพื่อเขียนสถานะ 3–5 คำ ผู้วัดรายงานกินราว 16% และยังปิดแบบทางการไม่ได้
รายงานอิสระพบว่าฟีเจอร์ agent_summary ของ Claude Code ส่ง transcript เต็มของ background agent ไปถามสถานะทุก ~30 วินาที คิดเป็น 16.4% ของค่าใช้จ่ายในระบบของผู้วัด Issue เปิดมาตั้งแต่ ส.ค. ยังไม่มีสวิตช์ปิดที่รองรับ เราตรวจพบโค้ดนี้ใน 2.1.314 และพบกฎใหม่เรื่องเกมที่ไม่อยู่ใน changelog