งานวิจัย
SWE-Gate: แพตช์ 644 ชิ้นที่ผ่านเทสต์ มี 221 ชิ้นที่รีวิวเวอร์จะตีกลับ — และการบอกกฎให้เอเจนต์รู้ล่วงหน้า ทำให้มันซ่อมบั๊กได้แย่ลง
เปเปอร์ arXiv:2609.04167 (3 ก.ย.) เสนอ SWE-Gate เบนช์มาร์ก 303 เคสจาก 75 รีโป Python ที่แยกเทสต์ "แก้บั๊กได้ไหม" ออกจาก "ผ่านเงื่อนไขที่รีวิวเวอร์ตั้งไหม" — จากแพตช์ 644 ชิ้นที่ผ่านเทสต์การทำงาน มี 221 ชิ้น (34.3%) ที่ละเมิดเงื่อนไขรีวิว และการยื่นเงื่อนไขให้เอเจนต์อ่านทำให้อัตราซ่อมบั๊กสำเร็จลดลงทุกโมเดล
· อ่าน 7 นาที