OpenAI ตรวจสอบ SWE-Bench Pro แล้วถอนคำแนะนำตัวเอง — พบราว 30% ของโจทย์ 'พัง' จนคะแนนเชื่อไม่ได้

เมื่อวันที่ 8 กรกฎาคม 2026 OpenAI เผยแพร่รายงานชื่อ “Separating signal from noise in coding evaluations” ที่ทำสิ่งซึ่งไม่ค่อยได้เห็นในวงการ: ตรวจสอบเบนช์มาร์กที่ตัวเองเคยเชียร์ แล้วประกาศถอนคำแนะนำนั้น ผลการตรวจพบว่า ราว 30% ของโจทย์ใน SWE-Bench Pro ชุดสาธารณะมีข้อบกพร่องเชิงออกแบบ ที่ทำให้คะแนนบิดเบือน — โมเดลที่เขียนโค้ดถูกต้องเชิงฟังก์ชันก็ยังสอบตกได้

เรื่องนี้สำคัญเพราะ SWE-Bench Pro (สร้างโดย Scale AI) ถูกวางให้เป็นตัวแทนของ SWE-bench Verified ซึ่ง OpenAI เองเลิกใช้ไปเมื่อกุมภาพันธ์ 2026 หลังพบว่ามันปนเปื้อนข้อมูลและถูกทำคะแนนจนตัน — แปลว่าเบนช์มาร์กมาตรฐานสองรุ่นติดกันของวงการ AI coding ถูกตั้งคำถามเรื่องความน่าเชื่อถือภายในปีเดียว

ตัวเลขจากการตรวจสอบ

OpenAI ตรวจ ชุดสาธารณะ 731 โจทย์ ด้วยสองวิธีคู่ขนาน:

• ไปป์ไลน์วิเคราะห์อัตโนมัติ (ใช้เอเจนต์เป็น “ผู้ตรวจสอบ”) ตีธง 200 โจทย์ = 27.4% ว่าพัง
• การตรวจโดยมนุษย์ — วิศวกรซอฟต์แวร์ที่มีประสบการณ์ 5 คน พบปัญหาใน 249 โจทย์ = 34.1%

สองวิธีให้ตัวเลขใกล้เคียงกันในย่าน ~30% ซึ่งเป็นสัญญาณว่านี่ไม่ใช่ความคลาดเคลื่อนของเครื่องมือตรวจ แต่เป็นปัญหาจริงในตัวชุดข้อมูล

ประเด็นที่แสบที่สุดคือ อัตราการทำสำเร็จของโมเดลชั้นนำพุ่งจาก 23.3% เป็น 80.3% ภายในแปดเดือน — เมื่อคะแนนเข้าใกล้เพดานที่สัญญาณรบกวนครองอยู่แล้ว ส่วนต่างระหว่างโมเดลอันดับ 1 กับอันดับ 3 ก็เริ่มวัด “ความสามารถ” น้อยลง และวัด “โชคในการเดาข้อกำหนดที่ซ่อนอยู่” มากขึ้น

โจทย์ “พัง” ได้ 4 แบบ

OpenAI จัดกลุ่มข้อบกพร่องเป็นสี่ประเภท:

1. เทสต์เข้มเกินไป (overly strict tests) — บังคับรายละเอียดการอิมพลิเมนต์ที่โจทย์ไม่ได้บอก โค้ดที่ทำงานถูกต้องแต่เขียนคนละสไตล์จึงสอบตก
2. โจทย์ระบุไม่ครบ (underspecified prompts) — มีข้อกำหนดที่เทสต์ซ่อนไว้บังคับ แต่ผู้แก้ไม่มีทางอนุมานได้จากโจทย์
3. เทสต์ครอบคลุมไม่พอ — บางโจทย์ผ่านได้ทั้งที่แก้ไม่ตรงจุด
4. คำสั่งขัดแย้งกันเอง — สิ่งที่โจทย์บอก กับสิ่งที่เทสต์ตรวจ ไม่ตรงกัน

สองข้อแรกทำให้ โมเดลที่เก่งจริงถูกหักคะแนน ส่วนข้อสามทำให้ โมเดลที่ไม่เก่งได้คะแนนฟรี — ผลรวมคือคะแนนที่มีทั้ง false negative และ false positive ปนกัน

มุมมอง AI Curator

สิ่งที่ควรจดจำจากเรื่องนี้ไม่ใช่ “SWE-Bench Pro ใช้ไม่ได้” แต่เป็น การที่วงการเพิ่งจะยอมรับว่าเบนช์มาร์กก็คือซอฟต์แวร์ชิ้นหนึ่ง — และซอฟต์แวร์มีบั๊ก เราตรวจโค้ดโปรดักชันด้วย code review, เทสต์, และ CI แต่ตัวเลขที่เราใช้ตัดสินใจซื้อโมเดลมูลค่าหลักล้านกลับแทบไม่เคยถูกออดิทเลย งานนี้ของ OpenAI คือการเอามาตรฐานเดียวกับที่ใช้กับโค้ดมาใช้กับเครื่องมือวัด และผลลัพธ์ก็ตรงกับที่ควรคาด: 30% พัง

แต่ต้องอ่านด้วยสายตาที่ระวังเช่นกัน — OpenAI เป็นผู้เล่นที่มีส่วนได้ส่วนเสียโดยตรงกับคะแนนบนกระดานนี้ การที่บริษัทหนึ่งออดิทเบนช์มาร์กที่ตัวเองถูกวัด แล้วสรุปว่าเบนช์มาร์กนั้นเชื่อไม่ได้ ย่อมมีแรงจูงใจแฝงอยู่เสมอ ไม่ว่าผลตรวจจะถูกต้องเพียงใด สิ่งที่จะทำให้ข้อสรุปนี้หนักแน่นขึ้นคือ การตรวจซ้ำโดยฝ่ายที่สาม และคำตอบจาก Scale AI ซึ่ง ณ เวลาที่เขียนยังไม่ปรากฏ นี่คือเหตุผลว่าทำไมโครงสร้างที่ดีกว่าคือ เบนช์มาร์กควรมีผู้ดูแลที่เป็นกลาง ไม่ใช่ห้องแล็บที่ถูกวัด

สังเกตความบังเอิญที่น่าสนใจ: เมื่อวานเราเพิ่งเขียนถึง VeRO ของ Scale AI ที่ให้เอเจนต์ไปปรับเอเจนต์ วันนี้เบนช์มาร์กเรือธงของ Scale AI ถูกตั้งคำถาม — และก่อนหน้านั้นเราเขียนถึง Cursor กับปัญหา reward hacking บนเบนช์มาร์ก ทั้งสามเรื่องชี้ไปที่แกนเดียวกัน: เมื่อโมเดลถูกเทรนด้วย RL ให้ไล่ล่าคะแนน สิ่งที่มันจะเรียนรู้คือ “ทำอย่างไรให้ผ่านเทสต์” ไม่ใช่ “ทำอย่างไรให้โค้ดดี” ถ้าเทสต์เองก็พัง เราก็กำลังสอนให้โมเดลเก่งขึ้นในการหาช่องโหว่ของเทสต์ที่พัง

สำหรับทีมไทยและอาเซียนที่ต้องเลือกโมเดลด้วยงบจำกัด บทเรียนใช้ได้ทันทีคือ: อย่าเลือกโมเดลจากคะแนนเบนช์มาร์กสาธารณะเพียงอย่างเดียว ส่วนต่าง 2-3 จุดบนกระดานที่มีสัญญาณรบกวน 30% ไม่ได้แปลว่าอะไรเลย สิ่งที่คุ้มค่ากว่ามากคือลงทุนสร้าง ชุดประเมินภายในจากงานจริงของทีมเอง สัก 30-50 เคส ที่สะท้อนโค้ดเบส ภาษา และโดเมนของคุณ — มันจะบอกความจริงเกี่ยวกับโมเดลได้มากกว่าตัวเลขบนกระดานสาธารณะใด ๆ และมันจะไม่ถูกโมเดลรุ่นถัดไป “เทรนใส่” ด้วย

แหล่งข่าว

• OpenAI retracts SWE-Bench Pro coding benchmark recommendation — Investing.com
• Separating signal from noise in coding evaluations — OpenAI
• OpenAI Retracts SWE-Bench Pro After Finding 30% of Tasks Broken — AlphaSignal
• SWE-Bench Pro Leaderboard (Public Dataset) — Scale AI