งานวิจัย
ToolFailBench: งานวิจัยชี้ 'คะแนนรวม' ปิดบังว่าเอเจนต์ล้มเหลวเรื่อง tool use อย่างไร — แยกโหมดพัง 4 แบบ โมเดลเก่งสุดยังทำ Clean Tool-Use ได้แค่ 86%
เบนช์มาร์กใหม่ ToolFailBench (1,000 งาน, 5 โดเมน, 19 โมเดล) แยก 'ความล้มเหลวเรื่องเครื่องมือ' ของเอเจนต์ออกเป็น 4 โหมด แทนคะแนนรวมก้อนเดียว พบว่าโมเดลเก่งสุดยังทำ Clean Tool-Use Rate ได้แค่ 86.33% — และโมเดลที่คะแนนรวมใกล้กันกลับพังคนละแบบ Llama-3.1 มีนิสัย 'เรียกเครื่องมือตลอด'
· อ่าน 5 นาที