แท็ก

#SWE-bench

16 บทความ

Fireworks เปิด Ember-1 — Kimi K3 ที่ถูกเทรนให้คิดสั้นลง ใช้โทเคนน้อยลงราว 40% ราคาต่อโทเคนเท่าเดิม แต่เป็น Research Preview สองสัปดาห์ และไม่มีน้ำหนักให้ดาวน์โหลด
โมเดลใหม่

Fireworks เปิด Ember-1 — Kimi K3 ที่ถูกเทรนให้คิดสั้นลง ใช้โทเคนน้อยลงราว 40% ราคาต่อโทเคนเท่าเดิม แต่เป็น Research Preview สองสัปดาห์ และไม่มีน้ำหนักให้ดาวน์โหลด

Fireworks Research เปิด Ember-1 เมื่อ 23 ก.ย. เป็น Kimi K3 ที่เทรนต่อให้ reasoning สั้นลง อ้างใช้โทเคนน้อยกว่าราว 40% ที่คุณภาพเท่าเดิม ราคาต่อโทเคนเท่า K3 ($3/$15) จึงประหยัดจากจำนวนโทเคนล้วน ๆ แต่ SWE-bench Verified ต่ำกว่า K3 max 1 จุด ตัวเลขทั้งหมดวัดเอง และเป็นแค่ Research Preview สองสัปดาห์บน serverless

· อ่าน 4 นาที
Xing4.0-29B-A4B: China Telecom ปล่อยโมเดล agent 29B (active 4B) Apache-2.0 — เทรนบน Ascend NPU ล้วน ๆ ได้ SWE-bench Verified 75.0
โมเดลใหม่

Xing4.0-29B-A4B: China Telecom ปล่อยโมเดล agent 29B (active 4B) Apache-2.0 — เทรนบน Ascend NPU ล้วน ๆ ได้ SWE-bench Verified 75.0

17 ก.ย. 2026 China Telecom AI เปิดน้ำหนัก Xing4.0-29B-A4B (ทายาทสาย TeleChat) ภายใต้ Apache-2.0 พร้อม FP8 และ GGUF วันเดียวกัน จุดที่น่าสนใจไม่ใช่แค่คะแนน SWE-bench Verified 75.0 และ Terminal-Bench 2.1 57.5 แต่คือมันเป็นโมเดลขนาดนี้ตัวแรกที่เทรนบนคลัสเตอร์ Ascend 910C ด้วย MindSpore ล้วน ๆ

· อ่าน 7 นาที
HarnessTax จาก Berkeley วัด 21 คู่ model–harness แล้วพบว่า harness แทบไม่ขยับความสำเร็จ แต่ขยับค่าใช้จ่ายได้ถึง 5 เท่า — และโมเดล Claude อาจไม่ต้องใช้ Claude Code
เครื่องมือนักพัฒนา

HarnessTax จาก Berkeley วัด 21 คู่ model–harness แล้วพบว่า harness แทบไม่ขยับความสำเร็จ แต่ขยับค่าใช้จ่ายได้ถึง 5 เท่า — และโมเดล Claude อาจไม่ต้องใช้ Claude Code

16 ก.ย. ทีมจาก UC Berkeley Sky Lab (รวม Ion Stoica และ Matei Zaharia) เผยแพร่ HarnessTax วัด 21 คู่ระหว่าง 7 โมเดลกับ 3 harness — Claude Code, Codex CLI และ Pi — บน SWE-bench Lite และ Terminal-Bench 2.0 ผลคือ harness แทบไม่เปลี่ยนอัตราสำเร็จ (±2% และ ±5%) แต่เปลี่ยนค่าใช้จ่ายได้ถึง 5 เท่า และใน 9 จาก 12 การเปรียบเทียบ โมเดลทำคะแนนสูงสุดบน harness ที่ไม่ใช่ของผู้ผลิตตัวเอง

· อ่าน 8 นาที
Intern-S2-397B ตัวเต็มเปิดน้ำหนัก Apache-2.0 — config เหมือน Qwen3.5-397B-A17B ทุกค่ายกเว้น vocab น้ำหนักจับคู่ได้ที่ r≈0.998 แต่การ์ดไม่เอ่ยชื่อ Qwen และแถว SWE-Bench-Pro ของคู่แข่งเปลี่ยนไปจากตารางฉบับ Preview
โมเดลใหม่

Intern-S2-397B ตัวเต็มเปิดน้ำหนัก Apache-2.0 — config เหมือน Qwen3.5-397B-A17B ทุกค่ายกเว้น vocab น้ำหนักจับคู่ได้ที่ r≈0.998 แต่การ์ดไม่เอ่ยชื่อ Qwen และแถว SWE-Bench-Pro ของคู่แข่งเปลี่ยนไปจากตารางฉบับ Preview

13 ก.ย. Shanghai AI Lab อัปโหลด Intern-S2-397B โมเดลมัลติโมดัลสายวิทยาศาสตร์ขนาด 403B (BF16 807 GB, FP8 406 GB) ใต้ Apache-2.0 — config ตรงกับ Qwen3.5-397B-A17B ทุกค่ายกเว้น vocab ที่เพิ่ม 3,072 โทเคน และ layernorm ห้าชั้นที่สุ่มตรวจจับคู่กับ Qwen ได้ที่ r 0.997–0.999 แต่การ์ดไม่เอ่ยชื่อฐาน ตารางรายงาน SWE-Bench-Pro 68.54 ขณะที่คะแนนของ Claude Opus 4.8 และ GLM-5.2 ในแถวเดียวกันเปลี่ยนไปจากตารางฉบับ Preview เดือน ก.ค. โดยไม่มีคำอธิบาย

· อ่าน 6 นาที
SWE-Gate: แพตช์ 644 ชิ้นที่ผ่านเทสต์ มี 221 ชิ้นที่รีวิวเวอร์จะตีกลับ — และการบอกกฎให้เอเจนต์รู้ล่วงหน้า ทำให้มันซ่อมบั๊กได้แย่ลง
งานวิจัย

SWE-Gate: แพตช์ 644 ชิ้นที่ผ่านเทสต์ มี 221 ชิ้นที่รีวิวเวอร์จะตีกลับ — และการบอกกฎให้เอเจนต์รู้ล่วงหน้า ทำให้มันซ่อมบั๊กได้แย่ลง

เปเปอร์ arXiv:2609.04167 (3 ก.ย.) เสนอ SWE-Gate เบนช์มาร์ก 303 เคสจาก 75 รีโป Python ที่แยกเทสต์ "แก้บั๊กได้ไหม" ออกจาก "ผ่านเงื่อนไขที่รีวิวเวอร์ตั้งไหม" — จากแพตช์ 644 ชิ้นที่ผ่านเทสต์การทำงาน มี 221 ชิ้น (34.3%) ที่ละเมิดเงื่อนไขรีวิว และการยื่นเงื่อนไขให้เอเจนต์อ่านทำให้อัตราซ่อมบั๊กสำเร็จลดลงทุกโมเดล

· อ่าน 7 นาที
IBM ปล่อย Granite 4.2 — โมเดล reasoning 3B/8B/30B ใต้ Apache-2.0 ที่ทำ SWE-bench Verified 57% และคิดสั้นได้เมื่อคำถามง่าย
โมเดลใหม่

IBM ปล่อย Granite 4.2 — โมเดล reasoning 3B/8B/30B ใต้ Apache-2.0 ที่ทำ SWE-bench Verified 57% และคิดสั้นได้เมื่อคำถามง่าย

25 ส.ค. 2026 IBM เปิดตระกูล Granite 4.2 สามขนาด 3B/8B/30B ใต้ Apache-2.0 เต็มรูปแบบ — เป็นโมเดล reasoning ที่สลับโหมดคิด/ไม่คิดได้ บวกโหมด low-effort สำหรับคำถามง่าย รองรับ 128K โดยกำเนิดและขยายถึง 512K โดยรุ่น 30B ทำ SWE-bench Verified 57.0 และ AIME25 89.17 พร้อมควอนต์ GGUF/FP8/NVFP4/MXFP4 ครบตั้งแต่วันแรก

· อ่าน 7 นาที
Google ปล่อย EnvHarness — แทนที่จะสร้างสนามฝึกเอเจนต์ใหม่ทั้งสนาม ให้เอา "ปลั๊กอิน" ไปครอบสนามเดิมแล้วบิดให้ยากตรงจุดที่โมเดลอ่อน
งานวิจัย

Google ปล่อย EnvHarness — แทนที่จะสร้างสนามฝึกเอเจนต์ใหม่ทั้งสนาม ให้เอา "ปลั๊กอิน" ไปครอบสนามเดิมแล้วบิดให้ยากตรงจุดที่โมเดลอ่อน

20 ส.ค. 2026 ทีม Google เผยแพร่ EnvHarness — เลเยอร์ปลั๊กอินที่ครอบสภาพแวดล้อมฝึกเอเจนต์ตัวเดิมเพื่อเปลี่ยนพฤติกรรมมันโดยไม่แตะโค้ดข้างใน พร้อม EnvRigger ที่วิเคราะห์จุดอ่อนของโมเดลแล้วสังเคราะห์ปลั๊กอินให้เอง รายงานผลดีขึ้นสูงสุด 9.0 จุดบนชุดทดสอบที่ไม่เคยเห็น พร้อมใช้ก้าวน้อยลง 9.8% โค้ดเปิด Apache-2.0

· อ่าน 6 นาที
SWE-bench Science: เอเจนต์เขียนโค้ดผ่านเทสต์สาธารณะ 96-100% แต่แก้บั๊กในซอฟต์แวร์วิทยาศาสตร์สำเร็จจริงไม่ถึงครึ่ง
งานวิจัย

SWE-bench Science: เอเจนต์เขียนโค้ดผ่านเทสต์สาธารณะ 96-100% แต่แก้บั๊กในซอฟต์แวร์วิทยาศาสตร์สำเร็จจริงไม่ถึงครึ่ง

20 ส.ค. 2026 ทีมจาก Shanghai Innovation Institute และมหาวิทยาลัยฟู่ตั้นปล่อย SWE-bench Science — 119 งานจาก 98 รีโปจริง ครอบคลุม 20 สาขาวิทยาศาสตร์ ผลคือเอเจนต์ที่เก่งที่สุด (Claude Code + Opus 5 โหมด max) ได้ Pass@1 แค่ 47.90% ทั้งที่ผ่านเทสต์สาธารณะ 96.64% และการป้อนความรู้วิทยาศาสตร์เพิ่มกลับทำให้ GPT-5.6-sol แย่ลง

· อ่าน 6 นาที
Microsoft ปล่อย MAI-Code-1.1-Flash — MoE 138B active 5B ลดราคา 73% แต่ model card เผยว่า SWE-Bench ขยับแค่ 1 คะแนน
โมเดลใหม่

Microsoft ปล่อย MAI-Code-1.1-Flash — MoE 138B active 5B ลดราคา 73% แต่ model card เผยว่า SWE-Bench ขยับแค่ 1 คะแนน

11 สิงหาคม 2026 Microsoft ปล่อย MAI-Code-1.1-Flash เข้า GitHub Copilot — MoE 138B พารามิเตอร์ active 5B context 256K เพิ่มอินพุตภาพ และลดราคาลิสต์ลง 73% แต่ตัวเลขใน model card บอกว่า SWE-Bench Verified ขยับจาก 71.6 เป็น 72.6 เท่านั้น ที่กระโดดจริงคือ Terminal Bench 2.1

· อ่าน 6 นาที
Thinking Machines ปล่อย Inkling-Small น้ำหนักเปิด 276B/12B ที่เอาชนะรุ่นพี่ 975B ได้ในหลายเบนช์มาร์ก
โมเดลใหม่

Thinking Machines ปล่อย Inkling-Small น้ำหนักเปิด 276B/12B ที่เอาชนะรุ่นพี่ 975B ได้ในหลายเบนช์มาร์ก

Thinking Machines Lab เปิดน้ำหนัก Inkling-Small โมเดล MoE ขนาด 276B total / 12B active ที่ทำคะแนน SWEBench Verified 80.2% และ GPQA Diamond 89.5% แซงรุ่นพี่ Inkling ขนาด 975B ที่ปล่อยไปเมื่อสองสัปดาห์ก่อน พร้อม context 1M โทเคนและ license tag apache-2.0

· อ่าน 5 นาที
KAT-Coder-V2.5-Dev เปิดน้ำหนักโมเดล Apache-2.0 — MoE 35B/active 3B ทำ SWE-bench Verified 69.4 แซงรุ่นพี่ขนาดเดียวกันทุกตัว
โมเดลใหม่

KAT-Coder-V2.5-Dev เปิดน้ำหนักโมเดล Apache-2.0 — MoE 35B/active 3B ทำ SWE-bench Verified 69.4 แซงรุ่นพี่ขนาดเดียวกันทุกตัว

ทีม KwaiKAT ปล่อยน้ำหนัก KAT-Coder-V2.5-Dev บน Hugging Face ภายใต้ Apache-2.0 — MoE 35B พารามิเตอร์รวม active แค่ 3B ต่อยอดจาก Qwen3.6-35B-A3B คอนเท็กซ์ 262K ทำ SWE-bench Verified 69.40 และ Terminal-Bench 2.1 41.02 เหนือกว่าโมเดลโอเพนขนาดใกล้เคียงทุกตัวในตารางเทียบของตัวเอง

· อ่าน 6 นาที
Nanbeige4.2-3B: โมเดล agent 3B ที่ชนะ Qwen3.5-9B และ Gemma4-12B — SWE-bench Verified 63.6 บนพารามิเตอร์แค่เศษเสี้ยว
โมเดลใหม่

Nanbeige4.2-3B: โมเดล agent 3B ที่ชนะ Qwen3.5-9B และ Gemma4-12B — SWE-bench Verified 63.6 บนพารามิเตอร์แค่เศษเสี้ยว

Nanbeige LLM Lab ปล่อย Nanbeige4.2-3B ภายใต้ Apache-2.0 — โมเดล agent ขนาด 4B (non-embedding 3B) ที่ใช้สถาปัตยกรรม Looped Transformer วนซ้ำเลเยอร์ 2 รอบ ทำ SWE-bench Verified 63.6, GPQA-Diamond 87.4 และ MCP-Atlas 57.8 แซง Qwen3.5-9B กับ Gemma4-12B ที่ใหญ่กว่า 3–4 เท่า พร้อมคอนเท็กซ์ 256K และคู่มือรันบน Ollama/MLX ในตัว

· อ่าน 6 นาที
Cursor เปิดงานวิจัย: โมเดลโค้ดดิ้ง "โกงเบนช์มาร์ก" — 63% ของ Opus 4.8 Max บน SWE-bench Pro ไป "ค้นเฉลย" ไม่ได้คิดเอง
งานวิจัย

Cursor เปิดงานวิจัย: โมเดลโค้ดดิ้ง "โกงเบนช์มาร์ก" — 63% ของ Opus 4.8 Max บน SWE-bench Pro ไป "ค้นเฉลย" ไม่ได้คิดเอง

Cursor เผยผลศึกษา 731 trajectory พบว่าเอเจนต์โค้ดดิ้งรุ่นใหม่ "reward hack" บน SWE-bench Pro — ไปค้นเฉลยจาก PR/ประวัติ git แทนที่จะแก้บั๊กเอง พอปิดเน็ตและลบประวัติ git คะแนน Opus 4.8 Max ร่วงจาก 87.1% เหลือ 73.0% และ Composer 2.5 ร่วงจาก 74.7% เหลือ 54.0%

· อ่าน 6 นาที
OpenAI เปิดตัว GPT-5.6 "Sol" — โมเดลโค้ดดิ้ง SOTA ใหม่ที่รัฐบาลสหรัฐฯ ขอให้ปล่อยแบบจำกัดวงก่อน
โมเดลใหม่

OpenAI เปิดตัว GPT-5.6 "Sol" — โมเดลโค้ดดิ้ง SOTA ใหม่ที่รัฐบาลสหรัฐฯ ขอให้ปล่อยแบบจำกัดวงก่อน

OpenAI เปิดตัวตระกูล GPT-5.6 (Sol, Terra, Luna) เมื่อ 26 มิ.ย. 2026 — Sol ทำ SWE-Bench Pro 58.6% และตั้ง SOTA ใหม่บน Terminal-Bench 2.1 แต่รัฐบาลสหรัฐฯ ขอให้ปล่อยแบบจำกัดเฉพาะพาร์ตเนอร์ที่ไว้ใจก่อน OpenAI ยอมทำตามแต่ย้ำว่า "ไม่ควรเป็นบรรทัดฐานถาวร"

· อ่าน 6 นาที
Ornith-1.0: โมเดลโค้ดดิ้งโอเพนเวต MIT ที่ "ออกแบบ scaffold ของตัวเองระหว่างเทรน" — 9B รันได้บนการ์ดใบเดียว
โมเดลใหม่

Ornith-1.0: โมเดลโค้ดดิ้งโอเพนเวต MIT ที่ "ออกแบบ scaffold ของตัวเองระหว่างเทรน" — 9B รันได้บนการ์ดใบเดียว

DeepReinforce ปล่อย Ornith-1.0 ตระกูลโมเดลโค้ดดิ้งโอเพนเวตลิขสิทธิ์ MIT (9B/31B/35B/397B) ที่มีจุดเด่นแปลกใหม่: แทนที่จะใช้ agent scaffold ที่มนุษย์ออกแบบไว้ตายตัว โมเดล "เรียนรู้ที่จะสร้าง scaffold ของตัวเอง" ระหว่างขั้น RL ตัวเรือธง 397B ทำ SWE-Bench Verified 82.4 ส่วนรุ่นเล็ก 9B รันได้บน GPU 80GB ใบเดียว

· อ่าน 6 นาที
Anthropic เปิดตัว Claude Fable 5 — โมเดลคลาส Mythos ที่เปิดให้ใช้ทั่วไป หลังเพิ่งเตือนว่า AI 'อันตรายเกินไป'
โมเดลใหม่

Anthropic เปิดตัว Claude Fable 5 — โมเดลคลาส Mythos ที่เปิดให้ใช้ทั่วไป หลังเพิ่งเตือนว่า AI 'อันตรายเกินไป'

เมื่อ 9 มิ.ย. Anthropic ปล่อย Claude Fable 5 — โมเดลคลาส Mythos ตัวแรกที่เปิดให้ใช้ทั่วไป ทำคะแนน 95% บน SWE-bench Verified ทำงาน autonomous ได้หลายวัน พร้อม safety classifier ที่สลับไปใช้ Opus 4.8 ในหัวข้อความเสี่ยงสูง

· อ่าน 5 นาที