ข้ามไปยังเนื้อหา

แท็ก

#ProgramBench

2 บทความ

Microsoft Research เปิดซอร์ส Agensh: harness ที่ให้ agent 1,024 ตัวแบ่งงานกันเองโดยไม่มี orchestrator — สร้าง pandoc ใหม่ได้ผ่านเทสต์ 55% เทียบกับ 34% ของ agent ตัวเดียว แต่ไม่รายงานต้นทุนโทเคนเลย และจาก 1 เป็น 8 ตัวได้เพิ่มแค่ 1.4 แต้ม
งานวิจัย

Microsoft Research เปิดซอร์ส Agensh: harness ที่ให้ agent 1,024 ตัวแบ่งงานกันเองโดยไม่มี orchestrator — สร้าง pandoc ใหม่ได้ผ่านเทสต์ 55% เทียบกับ 34% ของ agent ตัวเดียว แต่ไม่รายงานต้นทุนโทเคนเลย และจาก 1 เป็น 8 ตัวได้เพิ่มแค่ 1.4 แต้ม

Microsoft Research ปล่อยโค้ด Agensh (MIT) เมื่อ 22–24 ต.ค. 2026 ต่อจาก preprint เดือน ก.ย. เป็น harness แบบไม่มีศูนย์กลาง ที่ให้ agent จองงานเอง คุยกันผ่าน Mattermost และ merge งานผ่าน Gitea ใน 5 โจทย์ที่ยากที่สุดของ ProgramBench คะแนนเฉลี่ยขึ้นจาก 19.31% (1 ตัว) เป็น 28.78% (128 ตัว) และ pandoc ขึ้นเป็น 55.06% ที่ 1,024 ตัว แต่เปเปอร์ไม่บอกต้นทุนโทเคน และไม่เทียบกับ agent ตัวเดียวที่ได้ compute เท่ากัน

· อ่าน 5 นาที
เอเจนต์โคดดิ้งไม่รู้ว่าเวลาผ่านไปเท่าไร: งานจาก MATS วัด Claude Code กับ Codex พบทั้งคู่เดาว่า "ประมาณชั่วโมงครึ่ง" กับทุกงาน — และ Codex ผิดไป 4.12 เท่า
งานวิจัย

เอเจนต์โคดดิ้งไม่รู้ว่าเวลาผ่านไปเท่าไร: งานจาก MATS วัด Claude Code กับ Codex พบทั้งคู่เดาว่า "ประมาณชั่วโมงครึ่ง" กับทุกงาน — และ Codex ผิดไป 4.12 เท่า

งานประเมินจากโปรแกรม MATS 10 (เผยแพร่ 14 ส.ค. 2026 และถูกสำนักข่าวหยิบไปขยายเมื่อ 30 ส.ค.) ให้ Claude Code กับ Codex ทำนายเวลาที่ตัวเองจะใช้ ทำงานจริง แล้วย้อนประเมิน พบว่าทั้งคู่ตอบ "ประมาณ 90 นาที" แทบทุกงานโดยไม่สนความยาก — Opus 4.8 ใช้จริงเฉลี่ย 85 นาที (บังเอิญตรง) ส่วน GPT-5.5 ใน Codex ใช้จริง 17.5 นาที แต่ทาย 72 นาที ผิดไป 4.12 เท่า และ harness เปลี่ยนจำนวนเทิร์นได้ถึง 2.5 เท่าบนโมเดลตัวเดียวกัน

· อ่าน 8 นาที