DiscoBench: งานวิจัยชี้ search agent ไม่ได้แพ้ตรงการค้นหา — แต่แพ้ตรง 'ไม่รู้ว่าเมื่อไรควรถาม'
งานวิจัยใหม่บน arXiv (แก้ไขรุ่น v2 เมื่อ 1 ก.ค. 2026) ชื่อ “When Search Agents Should Ask: DiscoBench for Clarification-Aware Deep Search” ชี้ประเด็นที่นักพัฒนา agent ทุกคนควรอ่าน: search agent ที่ขับด้วย LLM มักล้มเหลวไม่ใช่เพราะค้นหาไม่เก่ง แต่เพราะไม่รู้ว่าเมื่อไรควรหยุดค้นแล้วหันไปถามผู้ใช้เพื่อความชัดเจน
เบนช์มาร์กส่วนใหญ่ในปัจจุบันสมมติว่า query ของผู้ใช้ครบถ้วนและชัดเจนอยู่แล้ว แต่โลกจริงไม่เป็นแบบนั้น — คำขอมัก คลุมเครือ ระบุไม่ครบ หรือแม้กระทั่งผิดข้อเท็จจริง และเมื่อความคลุมเครือนี้ไหลผ่านเข้าไปในลูกโซ่การให้เหตุผลหลายขั้นตอนของเอเจนต์ มันจะพาการค้นหาไปผิดเส้นทางตั้งแต่ต้น DiscoBench ออกแบบมาเพื่อวัดจุดนี้โดยเฉพาะ
DiscoBench วัดอะไร
ต่างจากเบนช์มาร์กก่อนหน้าที่เน้นแค่ “เข้าใจ query แบบนิ่ง ๆ” DiscoBench มอง ความคลุมเครือเป็นปรากฏการณ์แบบไดนามิก ที่โผล่ขึ้นระหว่างการค้นหาหลายขั้นตอน โครงสร้างชุดข้อมูล:
- 211 ตัวอย่าง ครอบคลุม ambiguity 463 จุด
- 11 โดเมนจริง และความคลุมเครือ 4 ประเภท
- ที่แต่ละ “จุดคลุมเครือ” เอเจนต์ต้อง รู้ตัวเองว่าข้อมูลยังไม่พอ แล้ว interact กับผู้ใช้เพื่อขอเบาะแสที่ช่วยแยกแยะ — ไม่ใช่เดามั่ว หรือเลือกจากตัวเลือกปิดสำเร็จรูป
การประเมินวัด 4 มิติ: task utility (งานสำเร็จไหม), ambiguity detection (ตรวจจับความคลุมเครือได้ไหม), interaction strategy (ถามได้ดีไหม) และ cost (แลกด้วยต้นทุนเท่าไร) โดยใช้ user simulator จำลองการสนทนาหลายรอบ
ผลที่นักพัฒนา agent ต้องจำ
ข้อค้นพบหลักคมมาก: “การค้นซ้ำ ๆ แทนที่จะขอความชัดเจน มักได้ผลแย่กว่าการเดาตรง ๆ ด้วยซ้ำ” — เอเจนต์ที่พยายามชดเชยความไม่รู้ด้วยการยิงค้นหาเพิ่มเรื่อย ๆ ไม่ได้ช่วยอะไร กลับเปลืองต้นทุนและพาออกนอกเส้นทาง
อีกจุดที่สำคัญ: “การตรวจจับความคลุมเครือ” กับ “การตั้งคำถามที่ดี” เป็นคนละความสามารถกัน โมเดลอาจรู้ว่า query กำกวม แต่ยังตั้งคำถามที่ช่วยแยกแยะไม่เป็น และแม้แต่โมเดลระดับแนวหน้าอย่าง Claude Opus 4.7 และ Gemini 3.1 Pro ก็ยัง มีช่องว่างให้พัฒนาชัดเจน เมื่อเจอ query คลุมเครือ — พวกมันมักเดินหน้าเดาแทนที่จะถาม
มุมมอง AI Curator
งานนี้เป็น “บทเรียนออกแบบ” ที่ลงมือใช้ได้ทันที ไม่ใช่แค่ตัวเลขเบนช์มาร์ก ทีมที่สร้าง RAG หรือ search/deep-research agent ส่วนใหญ่ทุ่มพลังไปกับ retrieval ให้แม่นขึ้น — embedding ดีขึ้น re-ranker ฉลาดขึ้น ค้นหลายรอบมากขึ้น แต่ DiscoBench บอกว่าถ้า input คลุมเครือ การเพิ่มพลังค้นหาไม่ได้แก้ปัญหา และบางทีทำให้แย่ลงด้วยซ้ำ สิ่งที่ขาดคือความสามารถที่ “มนุษย์ที่เก่ง” มีโดยธรรมชาติ — รู้ว่าเมื่อไรควรหยุดแล้วถามกลับ
ในทางปฏิบัตินี่แปลว่า: อย่าออกแบบเอเจนต์ให้ “ค้นให้สุดแล้วเดาคำตอบ” อย่างเดียว ควรใส่ ขั้นตอนตรวจความคลุมเครือ และ กลไกถามกลับ ที่ถามถูกจุด (บริบทไทยยิ่งชัด — คำถามภาษาไทยมักละประธาน/บริบทที่ผู้พูดคิดว่ารู้กันอยู่แล้ว เอเจนต์ที่เดาเก่งแต่ไม่ถามจะพลาดง่ายเป็นพิเศษ) การถามหนึ่งคำถามที่ตรงจุด มักถูกกว่าและแม่นกว่าการยิงค้นหาสิบรอบ — ทั้งในแง่ต้นทุนโทเคนและในแง่คุณภาพคำตอบ นี่คือจุดที่ UX ของ agent กับคุณภาพผลลัพธ์มาบรรจบกัน: เอเจนต์ที่ “กล้าถาม” อาจเป็นเอเจนต์ที่ทั้งถูกกว่าและน่าเชื่อถือกว่า
แหล่งข่าว
อ่านเพิ่มในหมวด งานวิจัย
Anthropic ให้ Claude สร้างชุดข้อมูลที่ดูไร้พิษภัยแต่ทำโมเดลเบี้ยว ซ่อนในเรื่องเลี้ยงผึ้งและมวยปล้ำ จนผ่านระบบตรวจที่คล้ายของจริง
ทีม Alignment ของ Anthropic ให้ Claude ปีนหาชุดข้อมูล fine-tune ที่หลบ monitor ได้ ผลคือซ่อนพฤติกรรมในงานเขียนแนวบทบาทสมมติ และโมเดลที่เทรนแล้วนำไปใช้ในบุคลิกตัวเอง ผลซ้ำได้บน Qwen 3.6 27B แต่การทดลองเอื้อฝ่ายโจมตีมากและไม่ได้สะท้อนโมเดลที่ใช้งานจริง
Memdoor ทำซ้ำ GVS5H ได้: ทีม Qwen3.8-27B ห้าตัวตามทัน Fable 5 บนโจทย์ LiveCodeBench Hard แต่ผู้ทำบอกเองว่า 'เท่า' ไม่ใช่ 'ชนะ'
Memdoor ปล่อย workflow team-solve ที่เขียนวิธี GVS5H เป็น YAML ล้วนและทำคะแนน 9.8/10 บน LiveCodeBench Hard 10 ข้อ เทียบกับ 8.0 ของ Fable 5 แบบเรียกครั้งเดียว แต่ตัวอย่างเล็กและมีข้อจำกัด ส่วนงานวิจัยต้นฉบับชี้ว่าวิธีนี้ไม่ได้ช่วยทุกโมเดล
QwenPU รัน LLM ซ้อนใน LLM ด้วยหน่วยเวกเตอร์ที่คอมไพล์ลงในน้ำหนัก Qwen3.5-4B ส่วน bootgpt ทำให้เครื่อง 386 บูตเข้าโมเดลภาษาโดยไม่มี OS
ผู้สร้าง Qwenputer ปล่อย QwenPU เมื่อ 31 ต.ค. รัน stories260K ของ Karpathy บนหน่วยเวกเตอร์ที่คอมไพล์ลงในน้ำหนัก Qwen3.5-4B ลดเหลือ 53,000 trace token ต่อหนึ่ง token เรื่องเล่า วันเดียวกัน bootgpt ใส่โมเดล int8 ขนาด 11.5KB ให้บูตบนเครื่อง 386 โดยไม่มี OS