เครื่องมือนักพัฒนา
HarnessTax จาก Berkeley วัด 21 คู่ model–harness แล้วพบว่า harness แทบไม่ขยับความสำเร็จ แต่ขยับค่าใช้จ่ายได้ถึง 5 เท่า — และโมเดล Claude อาจไม่ต้องใช้ Claude Code
16 ก.ย. ทีมจาก UC Berkeley Sky Lab (รวม Ion Stoica และ Matei Zaharia) เผยแพร่ HarnessTax วัด 21 คู่ระหว่าง 7 โมเดลกับ 3 harness — Claude Code, Codex CLI และ Pi — บน SWE-bench Lite และ Terminal-Bench 2.0 ผลคือ harness แทบไม่เปลี่ยนอัตราสำเร็จ (±2% และ ±5%) แต่เปลี่ยนค่าใช้จ่ายได้ถึง 5 เท่า และใน 9 จาก 12 การเปรียบเทียบ โมเดลทำคะแนนสูงสุดบน harness ที่ไม่ใช่ของผู้ผลิตตัวเอง
· อ่าน 8 นาที