Microsoft DELEGATE-52 — แม้ frontier model ก็ทำเอกสารพังเงียบ ๆ 25% ใน workflow ยาว ๆ

ทีม Microsoft Research ที่นำโดย Philippe Laban, Tobias Schnabel และ Jennifer Neville ปล่อยงานวิจัยชื่อ “LLMs Corrupt Your Documents When You Delegate” พร้อม benchmark ใหม่ DELEGATE-52 ที่สั่นกระแสในวงการ enterprise AI ตลอดสัปดาห์ที่ผ่านมา — เพราะผลลัพธ์ตรงไปตรงมา: แม้ frontier model ที่ดีที่สุดในวันนี้ (Gemini 3.1 Pro, Claude 4.6 Opus, GPT 5.4) ก็ corrupt เนื้อหาเอกสาร 25% โดยเฉลี่ยใน delegated workflow ยาว ๆ — และที่น่ากลัวกว่าคือมันเป็น silent corruption ที่ตรวจจับด้วยตาคนแทบไม่ได้

DELEGATE-52 คืออะไร

DELEGATE-52 คือ benchmark ที่ออกแบบมาเพื่อ simulate “delegation” — paradigm ที่กำลังครอบงำการใช้งาน LLM ปี 2026 (vibe coding, autonomous agent, AI assistant ที่ทำงานต่อเนื่อง) — ไม่ใช่ chat ถามตอบเดี่ยว ๆ แต่เป็นงานยาวที่ user มอบทั้งเอกสารให้ AI แก้ไขผ่าน 20+ interaction ต่อเนื่อง

ทีมเลือก 52 domain มืออาชีพ ตั้งแต่ Python coding, ครอบคลุมงานเฉพาะทางสุดอย่าง crystallography, music notation, recipe, transit schedule, textile design และ chess notation — ทั้งหมดต้อง split เอกสารออกเป็นชิ้นย่อย, แก้แต่ละชิ้น, แล้ว merge กลับมาให้ถูกต้องตลอดทาง

วิธีการ evaluate คือ “round-trip relay” — bypass การ review โดยมนุษย์ที่แพง โดยให้ task เดิมแต่กลับด้าน (เช่น แปลกลับ, restore back, reverse) เพื่อตรวจว่าเนื้อหาที่ผ่าน workflow แล้วยัง equivalent กับต้นทางหรือไม่ ไม่ต้องมี reference solution ที่ human annotate

ผลที่น่าตกใจ — frontier model ก็ไม่รอด

ทีมรัน 19 LLM ทั้ง open-weight และ frontier ผ่าน DELEGATE-52 ที่ 20 sequential interaction ผลออกมาคือ:

• Frontier model (Gemini 3.1 Pro, Claude 4.6 Opus, GPT 5.4) — corrupt เนื้อหาเฉลี่ย 25% เมื่อจบ workflow ยาว
• โมเดลรอง ๆ — corrupt หนักกว่ามาก
• ใน 80% ของคู่ model-domain คะแนนต่ำกว่า 80% ซึ่งทีมเรียกว่า “catastrophic corruption”
• domain เดียวที่ส่วนใหญ่ผ่านเกณฑ์ “พร้อม delegate” (score ≥98%) คือ Python เท่านั้น

ที่ทำให้ enterprise CTO/CISO ต้องเหนื่อยจริง ๆ คือสิ่งที่ทีมเรียกว่า “silent corruption” — ไม่เหมือน hallucination แบบดั้งเดิมที่ output ดูแปลก จับได้ทันที — silent corruption ของ DELEGATE-52 เป็น error ที่ “ดูสมเหตุสมผล” ตรงตามแบบ schema ภาษาธรรมชาติของ domain นั้น แต่เนื้อหาภายในเพี้ยน — เช่น เปลี่ยนตัวเลขในตาราง spectrum, เปลี่ยนชื่อสารใน formula, สลับ step ใน recipe โดย human reader ไม่สังเกต

Counterintuitive — ใช้ tool ยิ่งแย่

ผลรองที่ผู้เขียน emphasize คือ — agentic tool use ไม่ช่วย ใน DELEGATE-52 แถม performance ยิ่งแย่ลงในหลายเงื่อนไข:

• document size ใหญ่ขึ้น → corruption rate ยิ่งสูง
• interaction ยาวขึ้น → corruption ยิ่งสะสม (compounding error)
• มี distractor file ปนใน workspace → model สับสน ทำพังเร็วขึ้น

โมเดลทำได้ดีกว่าใน domain ที่เป็น programmatic (Python, DBSchema) เพราะ syntax เคร่งครัด แต่พังหนักใน domain ที่ใช้ natural language เปิด (Recipe, Fiction) — และเกือบทุกโมเดลทำได้ดีในโดเมนที่มี repetition กับ structural density (Chess, Molecule) แต่พังในโดเมน vocabulary หลากหลาย ไม่ซ้ำ (Transit, Textile)

ทำไมเรื่องนี้สำคัญตอนนี้

งานวิจัยนี้กลายเป็นข่าวกระแสตลอดสัปดาห์ที่ผ่านมาเพราะ timing ตรงกับ wave ของ:

1. Agent SDK ทุกค่าย (Anthropic Agent SDK, OpenAI Codex, Google ADK) ที่ส่ง agent ไปทำงานต่อเนื่อง 20-100+ rounds
2. OpenAI Deployment Company, Tomoro และ consulting firm ใหม่ ๆ ที่ขายบริการ “ให้ AI ทำงาน document แทนพนักงาน” สู่ enterprise
3. Microsoft Copilot Agents 365 GA ที่กระจาย autonomous agent ไปสู่ Office worker หลายล้านคน

ผลลัพธ์ของ DELEGATE-52 เป็นเหมือนสัญญาณเตือนต่อ pattern “let it run overnight” ที่นักพัฒนาเริ่มชินกับการให้ Codex/Claude Code ทำงานเองโดยไม่ตรวจ — แต่ในงานที่ไม่ใช่ Python pure logic อาจมี corruption เงียบ ๆ ที่ pull request ผ่าน review เพราะ diff ดูปกติ

มุมมอง AI Curator

DELEGATE-52 เป็น benchmark ที่มี timing ฉลาดที่สุดในรอบหลายเดือน — ปล่อยตอนที่ทั้ง industry กำลังขายภาพ “delegate ให้ agent ทำเอง” และทำให้ assumption พื้นฐานสั่นคลอน

หนึ่ง — ความน่ากลัวไม่ใช่ตัวเลข 25% แต่เป็นคำว่า “silent” ในยุค hallucination แบบเปิดเผย เราเรียนรู้ที่จะตรวจสอบ output ที่ดูแปลก แต่ silent corruption คือ output ที่ดู perfect แต่ผิด — เครื่องมือทุกชั่นที่ developer ใช้ตอนนี้ (diff viewer, lint, type check) เกือบไม่มีตัวจับ semantic drift ในเอกสารยาว ๆ ระดับ “เนื้อตาราง spectrum สลับ” — ต้องสร้าง infra ตรวจ semantic equivalence ขึ้นมาใหม่จากศูนย์

สอง — ผลกระทบต่อ enterprise compliance ในไทย/SEA จะหนัก โดยเฉพาะอุตสาหกรรม financial service ที่มี BoT guideline บังคับ accuracy ระดับเอกสาร, healthcare ที่ EMR ผ่าน autonomous AI ไม่ได้, และ legal firm ที่กำลัง pilot Claude Cowork plugin สำหรับงาน contract — DELEGATE-52 บอกตรง ๆ ว่ายังไม่มี model ใดผ่านเกณฑ์ delegation “ready” ในงานเหล่านี้ ผู้บริหารที่ตัดสินใจ deploy agent ตอนนี้กำลังพนัน reputational risk สูง

สาม — paradigm “round-trip relay” ของทีม Microsoft จะกลายเป็น template สำหรับ benchmark ใหม่ ๆ ต่อไป เพราะเลี่ยงคอขวด “human-annotated reference” ที่ทำให้ benchmark agent ราคาแพงและช้า — คาดว่าใน 6 เดือนถัดไปจะเห็น variant ของ DELEGATE-52 ที่ scale ไปภาษาอื่น (ไทย/จีน/อาหรับ ที่ writing system ต่าง) และโดเมนที่ regulator สนใจมากกว่า (medical chart, legal contract, accounting ledger)

สี่ — paper นี้ออกจาก Microsoft Research แต่ทดสอบ Claude 4.6 Opus กับ GPT 5.4 ด้วย — ถือว่าเป็น signal ของ neutrality ที่หายากใน vendor research (เทียบกับ Anthropic paper “2028 AI leadership” ที่ออกสัปดาห์เดียวกัน ซึ่งมี bias ชัดในการ frame US-China AI race) — และจุดที่ Microsoft ได้ประโยชน์มากที่สุดอาจไม่ใช่การชี้ Claude/Gemini บกพร่อง แต่คือการ position Copilot/Foundry เป็น runtime ที่มี provenance + audit trail ที่ enterprise ต้องการเพิ่มเติมจาก raw model

ข้อระวังในการอ่านงานนี้ — DELEGATE-52 ทดสอบเฉพาะ single-turn delegation pattern ที่ user แทบไม่กลับมาตรวจ — ในการใช้งานจริง ผู้ใช้ที่ดียังคงตรวจระหว่างทาง และ best practice ของ agent ปัจจุบันมีกลไก human-in-the-loop ที่ไม่ test ในงานนี้ — ตัวเลข 25% จึงเป็นขอบเขตบน worst-case ของ pure delegation ไม่ใช่ตัวเลขที่ผู้ใช้ที่ดีจะเจอในชีวิตจริง — แต่นี่ก็คือ pattern ที่ enterprise vendor กำลังขายเข้าตลาดอยู่พอดี

แหล่งข่าว

• LLMs Corrupt Your Documents When You Delegate — Microsoft Research
• arXiv:2604.15597 — Laban, Schnabel, Neville (Microsoft)
• Frontier AI models corrupt 25% of document content — VentureBeat
• LLMs are unreliable delegates — IT Pro