เครื่องมือนักพัฒนา
Real-SWE วัด coding agent บนโค้ดเบสบริษัทจริงที่ไม่เคยหลุดสู่อินเทอร์เน็ต — Fable 5.1 ใน Claude Code นำที่ 38.8% แต่ทั้งตารางมาจากงานแค่ 10 ข้อ
Specific Labs เปิดตัว Real-SWE เบนช์มาร์กที่ใช้งานจริงจากโค้ดเบสส่วนตัวซึ่งซื้อสิทธิ์มาจากบริษัท — ภาษี บิลลิ่ง ย้ายข้อมูลลูกค้า — โมเดล 8 ตัวบนฮาร์เนสของตัวเองแก้ได้แค่ 16.2–38.8% โดย Fable 5.1 นำ ตามด้วย GPT-6 Astra และ Gemini 3.8 Flash ที่ถูกกว่าเกือบสามเท่าต่อรอบ แต่ตัวเลขทั้งหมดมาจาก 10 งาน × 8 รอบ ส่วนต่างระหว่างอันดับบนจึงเล็กกว่าที่ตารางทำให้ดู
· อ่าน 6 นาที
