ระดม agent ทำซ้ำงานวิจัย ICML 2,226 ฉบับใน 19 วัน — 23% มีข้ออ้างอย่างน้อยหนึ่งข้อที่ถูกหักล้าง และ 49 ฉบับถูกหักล้างทั้งหมด

Hugging Face เผยแพร่สรุปผล ICML 2026 Open Reproductions Challenge เมื่อ 13 สิงหาคม 2026 ซึ่งเป็นแฮกกาธอนที่จัดร่วมกับ alphaXiv ระหว่างวันที่ 15 กรกฎาคม – 2 สิงหาคม 2026 โดยมีโจทย์เดียวคือ: เอา coding agent ไปทำซ้ำงานวิจัยที่ผ่านการตอบรับของ ICML 2026 ให้ได้มากที่สุด แล้วบันทึกว่าอะไรทำซ้ำได้ อะไรไม่ได้

ตัวเลขรวมน่าสนใจในตัวมันเอง: ผู้เข้าร่วม 1,221 คน ยิงงานขึ้นคลาวด์ 2,962 job ผลิต logbook ออกมา 6,816 ฉบับ ครอบคลุมงานวิจัย 2,226 ฉบับ หรือประมาณ หนึ่งในสาม ของงาน 6,352 ฉบับที่ ICML 2026 ตอบรับ (จากที่ส่งเข้ามาทั้งหมด 23,918 ฉบับ) และแต่ละคนได้เครดิตคำนวณของ Hugging Face คนละ 20 ดอลลาร์ เท่านั้น

ผลรวม: ยืนยันได้ครึ่งหนึ่ง หักล้างได้เกือบหนึ่งในสี่

ผู้เข้าร่วมไม่ได้ตัดสินเป็น “ผ่าน/ไม่ผ่าน” ทั้งฉบับ แต่แตกงานวิจัยออกเป็น ข้ออ้าง (claim) รายข้อ แล้วให้คำตัดสินทีละข้อ รวมทั้งหมด 35,908 ข้อ ภาพที่ได้คือ:

• 51% ของงานที่ตรวจ มีข้ออ้างอย่างน้อยหนึ่งข้อที่ยืนยันได้อย่างอิสระ
• 266 ฉบับ ทำซ้ำได้ครบทุกข้ออ้าง
• 23% ของงานที่ตรวจ มีข้ออ้างอย่างน้อยหนึ่งข้อที่ ถูกหักล้าง
• 49 ฉบับ ถูกหักล้างทุกข้ออ้าง
• 242 ฉบับ ได้คำตัดสิน ตรงข้ามกัน จากทีมทำซ้ำคนละทีม

ตัวเลข 242 ฉบับสุดท้ายนั้นสำคัญไม่แพ้ตัวเลขอื่น เพราะมันเตือนว่า “ทำซ้ำไม่ได้” ที่รายงานโดย agent ก็ยังต้องถูกตรวจซ้ำอีกชั้น สาเหตุที่ทำซ้ำไม่สำเร็จส่วนใหญ่ไม่ใช่เพราะงานวิจัยผิด แต่เป็นเรื่องพื้น ๆ อย่าง ไม่ปล่อย artifact, ไม่ปล่อย checkpoint และมีบางกรณีที่ตัว agent เองอ่านพฤติกรรมที่ขึ้นกับสเกลผิด หรือทำหน่วยวัดพลาด

สามกรณีที่เจอของจริง

ที่ทำให้รายงานนี้มีน้ำหนักคือกรณีตัวอย่างที่ไม่ใช่แค่ “รันโค้ดไม่ผ่าน” แต่เป็นการเจอปัญหาเชิงเนื้อหา:

• “Towards Optimal Robustness in Learning-Augmented Paging” — ผู้เข้าร่วมพบว่าขอบเขต robustness ที่งานอ้างไว้ว่าเป็น H_k + O(1) นั้นไม่ถูก ค่าจริงโตแบบ H_k + Θ(log k) โดยยืนยันด้วยการกวาดค่าไปจนถึง k = 1,024
• “Attention’s forward pass and Frank-Wolfe” — มีสามทีมที่ทำงานแยกกันหา counterexample ของทฤษฎีบทหลักเจอ โดยเห็นการละเมิดในช่วงสเต็ปที่ 224 ถึง 6,416
• “Self-Distillation Enables Continual Learning” — ทฤษฎีในเปเปอร์วิเคราะห์บน reverse KL divergence แต่โค้ดที่ปล่อยออกมาตั้งค่าเริ่มต้นเป็น forward KL ทำให้ผลลัพธ์หัวข้อหลักไม่ตรงกัน

กรณีที่สามคือประเภทที่ผมคิดว่าน่ากลัวที่สุด เพราะมันไม่ใช่ความไม่ซื่อสัตย์ แต่คือ ช่องว่างระหว่างสิ่งที่เขียนในเปเปอร์กับสิ่งที่โค้ดทำจริง ซึ่ง reviewer ที่มีเวลาอ่านสองชั่วโมงไม่มีวันจับได้

เครื่องมือที่ใช้ และของที่ปล่อยออกมา

ผู้เข้าร่วมใช้ agent ตามถนัด — Claude Code, Codex, Cursor, Pi และ orx ของ OpenResearch เป็นต้น โดยงานจัดเตรียมอินเทอร์เฟซกลางให้ agent เข้าถึงตัวเปเปอร์และรายการข้ออ้างได้

ที่สำคัญกว่าคือทุกอย่างถูกปล่อยเป็นสาธารณะ: logbook ทั้งหมด, คำตัดสินรายข้ออ้าง, agent trace และโค้ดที่ทำซ้ำได้ โดยมี 274 ชุดข้อมูล trace เต็ม อยู่บน Hugging Face และมี Space กลางของการแข่งขัน เป็นจุดรวม

ข้อสรุปที่ผู้จัดเน้นคือ มนุษย์ยังจำเป็น — ไม่ใช่ในฐานะคนรันโค้ด แต่ในฐานะคนที่คอยกำกับ agent ตั้งคำถามกับสมมติฐาน และตัดสินเรื่องที่ต้องใช้การรับรู้แบบมนุษย์ พวกเขาสรุปว่าการรีวิวที่ได้ผลคือ “การบริหารสติปัญญาให้มีประสิทธิภาพ” ไม่ใช่การอัตโนมัติทั้งหมด

มุมมอง AI Curator

วิกฤตการทำซ้ำงานวิจัยไม่ใช่เรื่องใหม่ — วงการ ML บ่นกันมาเป็นสิบปี แต่สิ่งที่เปลี่ยนคือ ต้นทุน เดิมทีการทำซ้ำเปเปอร์หนึ่งฉบับกินเวลานักศึกษาปริญญาเอกหลายสัปดาห์ จึงไม่มีใครทำ และไม่มีใครถูกตรวจสอบ ตัวเลข 20 ดอลลาร์ต่อคน กับ 19 วัน ครอบคลุมหนึ่งในสามของ ICML คือการบอกว่าสมการนั้นพลิกไปแล้ว การทำซ้ำกลายเป็นสิ่งที่ทำได้ในระดับอุตสาหกรรม

นี่คือ การใช้ agent ในทางที่ผมเชื่อว่ามีคุณค่าที่สุดในตอนนี้ — ไม่ใช่การผลิตงานเขียนเพิ่มเข้าไปในโลกที่ล้นอยู่แล้ว แต่คือการ ตรวจสอบสิ่งที่ถูกผลิตออกมา ปีนี้เราเห็นความกังวลเรื่อง AI ทำให้เปเปอร์คุณภาพต่ำท่วมระบบรีวิว งานชิ้นนี้ชี้ทางที่สมมาตรกัน: ถ้าฝั่งผลิตถูกเร่งด้วย AI ฝั่งตรวจสอบก็ต้องถูกเร่งด้วย AI เหมือนกัน มิฉะนั้นระบบจะเสียสมดุลถาวร

สำหรับวงวิชาการไทย ผมคิดว่านี่คือโอกาสที่ราคาถูกผิดปกติ มหาวิทยาลัยไทยมักเสียเปรียบในการแข่งขันวิจัย ML เพราะไม่มี GPU พอจะเทรนโมเดลใหญ่แข่งกับใครได้ แต่ การทำซ้ำและหักล้างงานวิจัยไม่ต้องใช้คลัสเตอร์ ต้องใช้ความละเอียด ความเข้าใจเชิงทฤษฎี และเวลา — ซึ่งเป็นทรัพยากรที่เรามี การจับกลุ่มนักศึกษาระดับบัณฑิตศึกษาทำ reproduction study อย่างเป็นระบบให้ผลลัพธ์ที่อ้างอิงได้จริง สร้างชื่อเสียงให้ห้องแล็บได้ และที่สำคัญคือ สอนวิธีอ่านงานวิจัยแบบไม่เชื่อจนกว่าจะรันเอง ซึ่งเป็นทักษะที่หายากขึ้นทุกปี

ข้อควรระวังที่ไม่ควรข้าม: 242 ฉบับที่ได้คำตัดสินตรงข้ามกัน คือเครื่องเตือนว่าอย่ารีบเอาตัวเลข “23% ถูกหักล้าง” ไปพาดหัวว่างานวิจัย ML หนึ่งในสี่เชื่อไม่ได้ คำตัดสินของ agent คือ หลักฐาน ไม่ใช่ คำพิพากษา และ agent ที่รันโค้ดผิดเวอร์ชันหนึ่งครั้งก็รายงานว่า “หักล้างได้” เหมือนกัน คุณค่าจริงของงานนี้จึงอยู่ที่การที่ trace ทั้งหมดถูกเปิด ให้คนอื่นตรวจซ้ำได้ — ไม่ใช่ที่ตัวเลขสรุป

แหล่งข่าว:

• What We Learned by Reproducing 2,200 papers from ICML — Hugging Face Blog
• ICML 2026 Agent Reproduction Challenge — Hugging Face Space