งานวิจัย
OpenAI ตรวจสอบ SWE-Bench Pro แล้วถอนคำแนะนำตัวเอง — พบราว 30% ของโจทย์ 'พัง' จนคะแนนเชื่อไม่ได้
OpenAI เผยผลตรวจสอบเบนช์มาร์ก SWE-Bench Pro ของ Scale AI พบว่าราว 30% ของโจทย์ในชุดสาธารณะ 731 ข้อมีข้อบกพร่องเชิงออกแบบ — เทสต์เข้มเกินไป, โจทย์ระบุไม่ครบ, เทสต์ครอบคลุมไม่พอ, และคำสั่งขัดแย้งกันเอง — จนบริษัทถอนคำแนะนำเดิมที่เคยบอกให้วงการใช้เบนช์มาร์กนี้เป็นตัวหลักวัดความสามารถด้านโค้ด
· อ่าน 6 นาที