ICLR 2026: 'The Reasoning Trap' — งานวิจัยพบว่ายิ่งเทรน LLM ให้ reason เก่งขึ้นด้วย RL ยิ่ง hallucinate tool call มากขึ้น เป็นสัดส่วน

ในยุคที่ทุกคนแข่งกันเทรน reasoning model — DeepSeek R1, OpenAI o-series, Claude extended thinking, Gemini Deep Think — งานวิจัยที่ปรากฏใน ICLR 2026 ชื่อ “The Reasoning Trap: How Enhancing LLM Reasoning Amplifies Tool Hallucination” ตีโต้สมมติฐานพื้นฐานของวงการ — ว่ายิ่งโมเดลฉลาดขึ้น reliability จะดีขึ้นตาม

ผลที่ทีมวิจัยพบกลับตรงกันข้าม — เมื่อใช้ reinforcement learning เพิ่มความสามารถ reasoning ของ LLM ผ่าน chain-of-thought, task performance สูงขึ้นจริง แต่ rate ของ hallucinated tool call ก็สูงขึ้นในสัดส่วนเดียวกัน — paradox นี้ไม่ใช่ correlation ธรรมดา ทีมวิจัยแสดงให้เห็น causal relationship ผ่านการเทรนหลาย checkpoint แล้ว plot กราฟ

SimpleToolHalluBench — benchmark ที่เผยปัญหา

ทีมวิจัยสร้าง diagnostic benchmark ใหม่ชื่อ SimpleToolHalluBench — setup เรียบง่าย:

1. ให้ prompt task แก่โมเดล (เช่น “search the web for X” หรือ “calculate Y”)
2. ลบ tool ที่จำเป็นออก หรือ แทนที่ด้วย distractor tool ที่ชื่อดูเกี่ยวข้องแต่ทำงานคนละอย่าง
3. วัดว่าโมเดล:
   • refuse (ตอบว่า “ทำไม่ได้เพราะไม่มี tool ที่เหมาะสม”) — desired behavior
   • hallucinate (เรียก tool ที่ไม่มี หรือเรียก distractor tool โดยมั่นใจว่ามันถูกต้อง) — failure mode

ผลลัพธ์: โมเดลที่ผ่าน RL training เพื่อ reasoning เก่งขึ้น hallucinate มากขึ้นเรื่อยๆ ตามจำนวน RL update — ในขณะที่ task accuracy บน benchmark ปกติก็สูงขึ้นเรื่อยๆ — graph ของทั้งสองค่า move together

กลไกที่อยู่เบื้องหลัง

ทีมวิจัยเสนอคำอธิบายเชิง mechanistic ว่า RL training เสริม “ความมั่นใจในการ reason แบบเชิงรุก” — โมเดลถูกตอบแทนเมื่อสร้าง chain-of-thought ที่ “เต็มและสมบูรณ์” — เมื่อข้อมูลไม่พอ pattern ที่เรียนมาคือ “fill in the gaps with plausible content” — ใน task generation ทั่วไปเรียกว่า hallucination, ใน tool-use scenario ก็คือ tool hallucination

มุมมองนี้สำคัญเพราะ ไม่ใช่ bug ของ RL algorithm แต่คือ behavior ที่ training procedure encourage โดยตรง — แปลว่าแก้ยาก

วิธีบรรเทา — ที่ลองแล้วและที่ไม่พอ

ทีมวิจัยทดลองวิธี mitigate หลายทาง:

วิธี	ผล
Prompt engineering (“only call tools that exist”)	ลด hallucination บางส่วน — แต่ไม่ปิด gap
DPO (Direct Preference Optimization) ที่ penalize hallucination	ช่วยเพิ่มเติม — แต่ trade-off กับ task accuracy
Refusal-aware training	ผลปานกลาง
ไม่มีวิธีไหนปิด gap ได้สมบูรณ์	reliability-capability trade-off ยังอยู่

ทีมวิจัยสรุปว่านี่คือ “fundamental reliability-capability trade-off” — ไม่ใช่ปัญหาที่จะแก้ได้ด้วย hyperparameter tuning หรือ training data quality ธรรมดา — ต้องการ paradigm shift ในวิธี train reasoning

ผลกระทบกับ enterprise ที่ deploy agent

ปัญหานี้ไม่ใช่เรื่อง academic — survey จาก Deloitte ที่อ้างใน digest พบว่า 47% ของ enterprise AI users เคยตัดสินใจทางธุรกิจอย่างน้อย 1 ครั้งบน hallucinated content — และ OutSystems 2026 State of AI Development Survey ที่ถามผู้นำ IT เกือบ 1,900 คนพบว่า 96% ของ enterprise รัน AI agent ใน production แล้ว แต่ 94% กังวลว่า agent sprawl กำลังเพิ่ม technical debt และ security risk

ใน multi-agent system ที่ share memory — hallucinated entry หนึ่งจาก agent หนึ่งสามารถ propagate ไปยัง downstream agent ทุกตัวที่ query memory นั้น — เป็น failure mode แบบ contagion ที่ traditional unit test จับไม่ได้

มุมมอง AI Curator

ผมอ่าน paper นี้แล้วรู้สึกว่าเป็นหนึ่งในงานที่ บังคับให้วงการต้อง re-think ทิศทางของ scaling — ที่ผ่านมาเรา assume ว่า reasoning ที่เก่งขึ้น = AI ที่ใช้งานได้จริงมากขึ้น — paper นี้บอกว่า assumption นี้ผิด อย่างน้อยในมิติของ tool reliability

สำหรับทีม engineering ไทยที่กำลัง deploy agent ใน production — มี 3 implication เชิง practical ทันที:

1. test ด้วย “tool restraint evaluation” — ก่อน deploy agent ใหม่ ให้ทำ test set ที่:

• prompt task จริงที่ต้องใช้ tool
• ลบ tool ทิ้ง / แทนด้วย dummy tool ที่ไม่ทำงาน
• วัดว่า agent refuse หรือ hallucinate
• target: refusal rate ≥ 95% เมื่อ tool ถูกลบ

2. monitor tool call validity ใน production — log ทุก tool call แล้ว alert เมื่อ:

• agent เรียก tool ที่ไม่มีใน registry
• agent เรียก tool ด้วย parameter ที่ schema invalid
• rate ของ event เหล่านี้คือ leading indicator ของ silent failure

3. ระวัง “smarter is better” assumption — เมื่อ vendor ออกโมเดล reasoning ใหม่ที่ benchmark สูงขึ้น อย่า upgrade ทันที — รัน internal hallucination eval เปรียบเทียบกับโมเดลปัจจุบัน — มีกรณีที่โมเดลใหม่ raise overall accuracy แต่ raise hallucination ในเคสที่สำคัญต่อธุรกิจมากกว่า

มีอีกมุมที่อยากชี้ — paper นี้ออกมาในเวลาที่ enterprise procurement กำลังจะเริ่มถาม vendor หา ‘reliability SLA’ ของ agent — ที่ผ่านมาวงการพูดถึง latency SLA, uptime SLA — แต่ hallucination rate SLA ยังไม่มี vendor ไหนกล้ารับประกัน — paper นี้น่าจะเร่งให้เกิด standardized eval (เช่น SimpleToolHalluBench หรือ extension ของมัน) ที่ vendor ต้องเผยแพร่ผลเปรียบเทียบ

ในระยะยาว ผมคิดว่าทางออกจะมาในรูปของ architecture แยก reasoning ออกจาก tool use — มี reasoning module ที่ caligrate ความมั่นใจเป็นตัวเลข แล้วมี tool dispatcher ที่ refuse เมื่อ confidence ต่ำกว่า threshold — แทนที่จะใช้ end-to-end model ทำทั้งสองอย่าง — แต่ paradigm นี้ยังต้องใช้เวลาและ research อีกหลายเดือน

จนกว่าจะถึงตอนนั้น — test before deploy, monitor in production, don’t trust smarter models by default

แหล่งข่าว

• The Reasoning Trap: How Enhancing LLM Reasoning Amplifies Tool Hallucination — arXiv 2510.22977
• The Reasoning Trap — OpenReview ICLR 2026
• AI News Digest, April 29, 2026: The AI Agent Hallucination Trap In Smarter Models — Asanify