แท็ก

#Terminal-Bench

17 บทความ

OpenAI เปิด GPT-6.1 Terra — $1/$5 ต่อล้านโทเคน ถูกกว่า GPT-5.6 Terra ครึ่งหนึ่ง เน้นงาน computer use และ vision, Terminal-Bench 4.0 กระโดดจาก 21.5% เป็น 50.3% และ Artificial Analysis ให้ 48 คะแนน
โมเดลใหม่

OpenAI เปิด GPT-6.1 Terra — $1/$5 ต่อล้านโทเคน ถูกกว่า GPT-5.6 Terra ครึ่งหนึ่ง เน้นงาน computer use และ vision, Terminal-Bench 4.0 กระโดดจาก 21.5% เป็น 50.3% และ Artificial Analysis ให้ 48 คะแนน

OpenAI ปล่อย GPT-6.1 Terra เมื่อ 26 ต.ค. 2026 เป็นโมเดลระดับกลางราคา $1 input / $5 output ต่อล้านโทเคน (cached input $0.05) ถูกกว่า GPT-5.6 Terra และ GPT-6.1 Sol ราวครึ่งหนึ่ง บริบท 1.05 ล้านโทเคน เน้น visual reasoning กับ computer use ตัวเลขจาก OpenAI เองบอกว่าเท่า GPT-6 Astra บน Agents' Last Exam ที่ราคาต่อโทเคนหนึ่งในสิบ ส่วน Artificial Analysis วัดอิสระได้ 48 คะแนน อยู่ระหว่าง GPT-6.1 Sol กับรุ่นก่อน

· อ่าน 5 นาที
Kimi K3.1 Pro เปิดใช้ผ่าน API แล้ว — Artificial Analysis ให้ 55 คะแนน ตามหลังแค่ 3 โมเดลปิด นำโมเดล open-weight ที่ดีที่สุดตอนนี้เกือบ 9 แต้ม ส่วนน้ำหนักโมเดล Moonshot สัญญาว่าจะปล่อยภายใน 4 พ.ย.
โมเดลใหม่

Kimi K3.1 Pro เปิดใช้ผ่าน API แล้ว — Artificial Analysis ให้ 55 คะแนน ตามหลังแค่ 3 โมเดลปิด นำโมเดล open-weight ที่ดีที่สุดตอนนี้เกือบ 9 แต้ม ส่วนน้ำหนักโมเดล Moonshot สัญญาว่าจะปล่อยภายใน 4 พ.ย.

Moonshot AI เปิดตัว Kimi K3.1 Pro และรุ่น Highspeed เมื่อ 23 ต.ค. 2026 เป็นการ post-train K3 ต่อด้วย RL ขนาดใหญ่ ทำ Terminal-Bench 4.0 ได้ 65.7% (Opus 5.5 ได้ 66.4%) และได้ 55.1 บน Artificial Analysis Intelligence Index สูงกว่า MiMo-V2.6-Pro ที่เป็นโมเดล open-weight อันดับหนึ่งในตอนนี้ราว 9 แต้ม วันนี้ใช้ได้ผ่าน API เท่านั้น น้ำหนักจะตามมาภายใน 4 พ.ย. และเป็นครั้งแรกที่ Moonshot บอกว่าตั้งใจตัดข้อมูลด้านไซเบอร์ออกจากการเทรนรุ่นที่จะเปิดน้ำหนัก

· อ่าน 5 นาที
DeepSeek ปล่อย V4.1-Flash-1017 น้ำหนัก MIT ชุดใหม่ สถาปัตยกรรมเดิมทุกบิต แต่ Terminal-Bench 4.0 ขึ้นจาก 31.2 เป็น 42.3 — ชื่อ deepseek-flash บน API ถูกสลับไปรุ่นใหม่ทันที พร้อมเปิด Search & Fetch API $0.75 ต่อพันครั้ง
โมเดลใหม่

DeepSeek ปล่อย V4.1-Flash-1017 น้ำหนัก MIT ชุดใหม่ สถาปัตยกรรมเดิมทุกบิต แต่ Terminal-Bench 4.0 ขึ้นจาก 31.2 เป็น 42.3 — ชื่อ deepseek-flash บน API ถูกสลับไปรุ่นใหม่ทันที พร้อมเปิด Search & Fetch API $0.75 ต่อพันครั้ง

17 ต.ค. DeepSeek อัปโหลด V4.1-Flash-1017 ขึ้น Hugging Face ใต้ MIT เป็นการอัปเดต post-training ของ V4.1-Flash โดย config.json เหมือนเดิมทุกค่าและขนาดไฟล์ 510.3 GB เท่าเดิม คะแนนที่ DeepSeek รายงานเองขึ้นเกือบทุกช่อง (Terminal-Bench 4.0 จาก 31.2 เป็น 42.3, DeepSWE 77.0 แซง Opus 5) แต่ตารางใหม่ตัดกระดานที่เคยชนะออกและเปลี่ยนฮาร์เนสของ Terminal-Bench 4.0 ฝั่ง API ชื่อ deepseek-flash ชี้ไปรุ่นใหม่แล้วโดยราคาเท่าเดิม และ DeepSeek เปิด Search & Fetch API จากเสิร์ชเอนจินของตัวเองในวันเดียวกัน

· อ่าน 6 นาที
Fireworks เปิด Ember-1 — Kimi K3 ที่ถูกเทรนให้คิดสั้นลง ใช้โทเคนน้อยลงราว 40% ราคาต่อโทเคนเท่าเดิม แต่เป็น Research Preview สองสัปดาห์ และไม่มีน้ำหนักให้ดาวน์โหลด
โมเดลใหม่

Fireworks เปิด Ember-1 — Kimi K3 ที่ถูกเทรนให้คิดสั้นลง ใช้โทเคนน้อยลงราว 40% ราคาต่อโทเคนเท่าเดิม แต่เป็น Research Preview สองสัปดาห์ และไม่มีน้ำหนักให้ดาวน์โหลด

Fireworks Research เปิด Ember-1 เมื่อ 23 ก.ย. เป็น Kimi K3 ที่เทรนต่อให้ reasoning สั้นลง อ้างใช้โทเคนน้อยกว่าราว 40% ที่คุณภาพเท่าเดิม ราคาต่อโทเคนเท่า K3 ($3/$15) จึงประหยัดจากจำนวนโทเคนล้วน ๆ แต่ SWE-bench Verified ต่ำกว่า K3 max 1 จุด ตัวเลขทั้งหมดวัดเอง และเป็นแค่ Research Preview สองสัปดาห์บน serverless

· อ่าน 4 นาที
Unreal Agent เปิดซอร์ส harness แบบ async ล้วน (MIT, Go) — tool call ทุกตัวคืนสถานะ "กำลังทำ" ทันทีแล้ววิ่งเบื้องหลัง อ้างถูกกว่า Codex สูงสุด 40% ที่คะแนนเท่ากัน
เครื่องมือนักพัฒนา

Unreal Agent เปิดซอร์ส harness แบบ async ล้วน (MIT, Go) — tool call ทุกตัวคืนสถานะ "กำลังทำ" ทันทีแล้ววิ่งเบื้องหลัง อ้างถูกกว่า Codex สูงสุด 40% ที่คะแนนเท่ากัน

22 ก.ย. 2026 Unreal Labs ปล่อย Unreal Agent เป็น harness สำหรับเอเจนต์ที่จัดการ tool call แบบ asynchronous ทั้งหมด โมเดลไม่ต้องเสียเทิร์นไปกับการรอหรือ poll และผู้ใช้สั่งเปลี่ยนทิศได้กลางทาง ผลทดสอบของบริษัทเองบน GPT-6 Astra xhigh ได้ Terminal-Bench 4.0 57.9% เท่า Codex แต่ค่าใช้จ่าย $1,428 เทียบ $2,350 โค้ดเป็น Go สัญญา MIT

· อ่าน 5 นาที
Xing4.0-29B-A4B: China Telecom ปล่อยโมเดล agent 29B (active 4B) Apache-2.0 — เทรนบน Ascend NPU ล้วน ๆ ได้ SWE-bench Verified 75.0
โมเดลใหม่

Xing4.0-29B-A4B: China Telecom ปล่อยโมเดล agent 29B (active 4B) Apache-2.0 — เทรนบน Ascend NPU ล้วน ๆ ได้ SWE-bench Verified 75.0

17 ก.ย. 2026 China Telecom AI เปิดน้ำหนัก Xing4.0-29B-A4B (ทายาทสาย TeleChat) ภายใต้ Apache-2.0 พร้อม FP8 และ GGUF วันเดียวกัน จุดที่น่าสนใจไม่ใช่แค่คะแนน SWE-bench Verified 75.0 และ Terminal-Bench 2.1 57.5 แต่คือมันเป็นโมเดลขนาดนี้ตัวแรกที่เทรนบนคลัสเตอร์ Ascend 910C ด้วย MindSpore ล้วน ๆ

· อ่าน 7 นาที
HarnessTax จาก Berkeley วัด 21 คู่ model–harness แล้วพบว่า harness แทบไม่ขยับความสำเร็จ แต่ขยับค่าใช้จ่ายได้ถึง 5 เท่า — และโมเดล Claude อาจไม่ต้องใช้ Claude Code
เครื่องมือนักพัฒนา

HarnessTax จาก Berkeley วัด 21 คู่ model–harness แล้วพบว่า harness แทบไม่ขยับความสำเร็จ แต่ขยับค่าใช้จ่ายได้ถึง 5 เท่า — และโมเดล Claude อาจไม่ต้องใช้ Claude Code

16 ก.ย. ทีมจาก UC Berkeley Sky Lab (รวม Ion Stoica และ Matei Zaharia) เผยแพร่ HarnessTax วัด 21 คู่ระหว่าง 7 โมเดลกับ 3 harness — Claude Code, Codex CLI และ Pi — บน SWE-bench Lite และ Terminal-Bench 2.0 ผลคือ harness แทบไม่เปลี่ยนอัตราสำเร็จ (±2% และ ±5%) แต่เปลี่ยนค่าใช้จ่ายได้ถึง 5 เท่า และใน 9 จาก 12 การเปรียบเทียบ โมเดลทำคะแนนสูงสุดบน harness ที่ไม่ใช่ของผู้ผลิตตัวเอง

· อ่าน 8 นาที
RTK ติดดาว 80,000 ดวงเพราะอ้างว่าลดโทเคนได้ 60–90% — Quesma รัน Terminal-Bench 1,740 ครั้งแล้วพบว่า rtk gain รายงานว่าประหยัด 349 ล้านโทเคน แต่บิล DeepSeek กลับแพงขึ้น 5%
เครื่องมือนักพัฒนา

RTK ติดดาว 80,000 ดวงเพราะอ้างว่าลดโทเคนได้ 60–90% — Quesma รัน Terminal-Bench 1,740 ครั้งแล้วพบว่า rtk gain รายงานว่าประหยัด 349 ล้านโทเคน แต่บิล DeepSeek กลับแพงขึ้น 5%

Quesma ทดสอบ RTK (Rust Token Killer) พร็อกซีบีบเอาต์พุตเทอร์มินัลที่ติดดาวบน GitHub ราว 80,000 ดวง บน Terminal-Bench 2.1 รวม 1,740 ครั้ง: Claude Code + Fable 5.0 ถูกลง 5% แต่เกือบทั้งหมดมาจากงานเดียว ส่วน OpenCode + DeepSeek V4 Pro แพงขึ้น 5% เพราะจำนวนเทิร์นเพิ่ม 18% ทั้งที่ rtk gain รายงานว่าประหยัดไป 89% — ตัวเลขที่เครื่องมือโชว์กับเงินที่จ่ายจริงเป็นคนละเรื่อง

· อ่าน 6 นาที
Cognition เปิด SWE-2 เทรน RL ต่อบน Kimi K3 2.8T — FrontierCode 50.0% ห่าง Fable 5.1 ไม่ถึงแต้มที่ต้นทุนต่ำกว่า 64% แต่ Terminal-Bench 4 ได้ไม่ถึงครึ่ง
โมเดลใหม่

Cognition เปิด SWE-2 เทรน RL ต่อบน Kimi K3 2.8T — FrontierCode 50.0% ห่าง Fable 5.1 ไม่ถึงแต้มที่ต้นทุนต่ำกว่า 64% แต่ Terminal-Bench 4 ได้ไม่ถึงครึ่ง

10 ก.ย. Cognition เปิดตัว SWE-2 โมเดลโค้ดดิ้งที่โพสต์เทรนจาก Kimi K3 ขนาด 2.8T ด้วย RL ที่ฝึกทุกระดับ effort ในรันเดียวผ่าน reward แบบหักต้นทุนเชิงเส้น ได้ FrontierCode 1.1 Main 50.0% เทียบกับ Fable 5.1 ที่ 50.9% ด้วยต้นทุนต่ำกว่า 64% ใช้ได้ใน Devin Desktop และ CLI — แต่ตารางเดียวกันแสดงว่าบน Terminal-Bench 4 ได้ 27.3% ขณะที่ Fable 5.1 และ GPT-6 Astra ได้ 55.8% และ 57.9% และยังไม่มี API หรือราคาต่อโทเคนสาธารณะ

· อ่าน 6 นาที
ทีม Qwen กลับด้านไปป์ไลน์เทรนเอเจนต์ — ถอดสภาพแวดล้อมที่รันได้ 37,273 ชุดออกจาก trajectory เก่า 359,593 เส้น ดัน Qwen3.5-27B บน Terminal-Bench 2.1 ขึ้น 11.9 จุด แต่เวิร์กสเปซที่รีเพลย์ได้จริงมีโค้ดมัธยฐาน 0 บรรทัด
งานวิจัย

ทีม Qwen กลับด้านไปป์ไลน์เทรนเอเจนต์ — ถอดสภาพแวดล้อมที่รันได้ 37,273 ชุดออกจาก trajectory เก่า 359,593 เส้น ดัน Qwen3.5-27B บน Terminal-Bench 2.1 ขึ้น 11.9 จุด แต่เวิร์กสเปซที่รีเพลย์ได้จริงมีโค้ดมัธยฐาน 0 บรรทัด

3 ก.ย. 2026 ทีม Qwen ของ Alibaba เผยแพร่ Terminal-Universe — กรอบงานที่รีเพลย์การกระทำต่อไฟล์ใน trajectory ของเอเจนต์เก่าเพื่อสร้างเวิร์กสเปซที่รันได้ใหม่ ได้ 37,273 สภาพแวดล้อม และ SFT ทำให้ Qwen3.5-27B ขึ้นจาก 46.2% เป็น 58.1% บน Terminal-Bench 2.1 แต่ไฟล์ส่วนใหญ่ในเวิร์กสเปซมาจากเอเจนต์เติม ไม่ใช่จากการรีเพลย์

· อ่าน 8 นาที
โมเดลเดียวกัน 9 harness ต่างกัน 17 เท่าในค่าใช้จ่ายต่องานที่ผ่าน — แต่ครึ่งหนึ่งของโจทย์ในเบนช์มาร์กนี้ทุก harness ได้ผลเท่ากันหมด
เครื่องมือนักพัฒนา

โมเดลเดียวกัน 9 harness ต่างกัน 17 เท่าในค่าใช้จ่ายต่องานที่ผ่าน — แต่ครึ่งหนึ่งของโจทย์ในเบนช์มาร์กนี้ทุก harness ได้ผลเท่ากันหมด

FrontierHarness Eval รัน 9 harness (12 คอนฟิก) บนโมเดลเดียวกันคือ Kimi K3 กับโจทย์ 30 ข้อ แล้วพบว่าอัตราผ่านห่างกันแค่ 17 จุด แต่ค่าใช้จ่ายต่องานที่ผ่านห่างกัน 17 เท่า — ข้อมูลดิบที่เผยแพร่คู่กันบอกอีกสามอย่างที่หน้าเว็บไม่ได้เขียน

· อ่าน 8 นาที
Terminal-Bench-Science 0.1 ออกแล้ว — 70 งานวิจัยจริงในเทอร์มินัล คัดจากข้อเสนอ 920 ชิ้น และเอเจนต์ที่เก่งที่สุดทำได้แค่ 30%
เครื่องมือนักพัฒนา

Terminal-Bench-Science 0.1 ออกแล้ว — 70 งานวิจัยจริงในเทอร์มินัล คัดจากข้อเสนอ 920 ชิ้น และเอเจนต์ที่เก่งที่สุดทำได้แค่ 30%

26 ส.ค. 2026 ทีม Terminal-Bench ร่วมกับ Stanford และ Laude Institute ปล่อย Terminal-Bench-Science 0.1 ใต้ Apache-2.0 — เบนช์มาร์ก 70 งานที่กลั่นจากข้อเสนอ 920 ชิ้นโดยผู้ร่วมเขียน 376 คนจาก 22 ประเทศ ตรวจด้วย test แบบ deterministic ไม่ใช้ LLM ตัดสิน ผลคือ Claude Opus 5 บน Claude Code นำที่ 30.0% ขณะที่ทุกโมเดลร่วงจาก Terminal-Bench 3.0 เกิน 10 จุดถ้วนหน้า

· อ่าน 7 นาที
Recuris: ทำให้ agent เก่งขึ้นด้วยการวิวัฒน์ "ความจำ" แทนการเทรนใหม่ — ดัน Claude Opus 5 บน τ²-Retail จาก 72.4 ไป 87.9 โดยไม่แตะน้ำหนักโมเดล
งานวิจัย

Recuris: ทำให้ agent เก่งขึ้นด้วยการวิวัฒน์ "ความจำ" แทนการเทรนใหม่ — ดัน Claude Opus 5 บน τ²-Retail จาก 72.4 ไป 87.9 โดยไม่แตะน้ำหนักโมเดล

25 ส.ค. 2026 ทีมจาก NUS, Stanford, Oxford และ Princeton ปล่อย Recuris พร้อมโค้ดใต้ Apache-2.0 — สถาปัตยกรรมที่ปรับปรุง agent ด้วยการแก้ "ความจำ" แทนน้ำหนักหรือพรอมป์ต์ ได้ผลดีขึ้นใน 35 จาก 37 คู่โมเดล-เบนช์มาร์ก และมาพร้อมกับ AutoSaddler ของ Microsoft ที่ชี้ไปข้อสรุปเดียวกัน

· อ่าน 8 นาที
FACET: สังเคราะห์โจทย์เทอร์มินัลจาก state ของคอนเทนเนอร์จริง — เทรน Qwen3.5-27B ด้วย trajectory แค่ 1.2K แล้วไล่ตามโมเดล 397B บน Terminal-Bench 2.1 เหลือห่าง 1.49 แต้ม
งานวิจัย

FACET: สังเคราะห์โจทย์เทอร์มินัลจาก state ของคอนเทนเนอร์จริง — เทรน Qwen3.5-27B ด้วย trajectory แค่ 1.2K แล้วไล่ตามโมเดล 397B บน Terminal-Bench 2.1 เหลือห่าง 1.49 แต้ม

เปเปอร์ FACET (arXiv 19 ส.ค. 2026) เสนอวิธีสร้างโจทย์สำหรับเทรน terminal agent โดยผูกคำสั่ง สภาพแวดล้อม เฉลย และตัว verifier ไว้กับ state ของคอนเทนเนอร์เดียวกัน ได้โจทย์ที่ผ่านการตรวจจริง 6,078 ข้อ และเมื่อ fine-tune Qwen3.5-27B ด้วย trajectory เพียง 1.2K คะแนน Terminal-Bench 2.1 ขึ้นจาก 40.82 เป็น 47.57 ห่างจากโมเดล 397B แค่ 1.49 แต้ม

· อ่าน 7 นาที
Z.ai ปล่อย GLM-5.3 — เบสโมเดลตัวเดิม แต่ post-training ล้วน ๆ ดัน Terminal-Bench 3.0 จาก 4.6 เป็น 28.3 และแซง GPT-5.6 Sol บน CyberGym โดยที่น้ำหนักยังไม่ปล่อย
โมเดลใหม่

Z.ai ปล่อย GLM-5.3 — เบสโมเดลตัวเดิม แต่ post-training ล้วน ๆ ดัน Terminal-Bench 3.0 จาก 4.6 เป็น 28.3 และแซง GPT-5.6 Sol บน CyberGym โดยที่น้ำหนักยังไม่ปล่อย

14 ส.ค. 2026 Z.ai เปิดตัว GLM-5.3 ที่ใช้เบสโมเดลเดียวกับ GLM-5.2 ทุกอย่างที่ดีขึ้นมาจาก post-training อย่างเดียว — Terminal-Bench 3.0 กระโดดจาก 4.6 เป็น 28.3 และ CyberGym 84.5% แซง GPT-5.6 Sol แต่ ณ ตอนนี้ยังไม่มีทั้งน้ำหนักบน Hugging Face และราคา API

· อ่าน 7 นาที
Meta ลงสนาม coding agent — Muse Code (beta) + Muse Spark 1.2 ชนะ MCP Atlas 90.3% แต่แพ้ Opus 5 ทุกเบนช์มาร์กโค้ด
เครื่องมือนักพัฒนา

Meta ลงสนาม coding agent — Muse Code (beta) + Muse Spark 1.2 ชนะ MCP Atlas 90.3% แต่แพ้ Opus 5 ทุกเบนช์มาร์กโค้ด

5 ส.ค. 2026 Meta เปิด Muse Code เทอร์มินัล coding agent รุ่น beta บน macOS/Linux พร้อมโมเดล Muse Spark 1.2 — จุดขายคือ background agent ที่อยู่ยาวทั้งเซสชันและ event log ที่ทำให้ agent กู้คืนจากการแครชได้แบบ replay-exact แต่ตัวเลขจากกราฟของ Meta เองบอกว่ายังตาม Claude Opus 5 ทุกเบนช์มาร์กด้านโค้ด

· อ่าน 7 นาที
Alibaba ปล่อย harness ที่ทำให้ Qwen 3.7-Plus ทำงานยาวได้ดีกว่า Claude Opus 4.7 — เคล็ดลับคือเอา 'สถานะงาน' ออกจากบริบทการรัน แล้วตั้ง auditor อีกตัวมาตรวจของจริงก่อนเชื่อ
เครื่องมือนักพัฒนา

Alibaba ปล่อย harness ที่ทำให้ Qwen 3.7-Plus ทำงานยาวได้ดีกว่า Claude Opus 4.7 — เคล็ดลับคือเอา 'สถานะงาน' ออกจากบริบทการรัน แล้วตั้ง auditor อีกตัวมาตรวจของจริงก่อนเชื่อ

ทีม DreamX ของ Alibaba เผยแพร่ LongHorizon-Harness (arXiv 3 ส.ค.) พร้อมโค้ด MIT บน GitHub วันนี้ — แยก task state ออกนอก context, ให้ executor รันด้วย context ใหม่ทุกรอบ และให้ auditor แบบ read-only ตรวจสภาพแวดล้อมจริงก่อนบันทึกว่า 'เสร็จ' ผลคือ WeaveBench 51.8% → 80.7% และ Qwen 3.7-Plus แซง Opus 4.7 ที่ใช้ Claude Code เปล่า

· อ่าน 7 นาที