Sakana AI เปิด CoffeeBench — เบนช์มาร์กโอเพนซอร์สที่ปล่อยเอเจนต์ AI ไปบริหารห่วงโซ่กาแฟ 90 วัน วัด "การตัดสินใจระยะยาว" จริง ๆ

เมื่อ 26 มิถุนายน 2026 Sakana AI แล็บ AI จากโตเกียว ปล่อย CoffeeBench เบนช์มาร์กโอเพนซอร์สรูปแบบใหม่ที่ไม่ได้วัด “ตอบคำถามถูกไหม” แต่วัดสิ่งที่ยากกว่ามาก — ความสามารถในการตัดสินใจระยะยาว (long-horizon decision-making) ของเอเจนต์ LLM ในสภาพแวดล้อมเศรษฐกิจที่มีหลายเอเจนต์แข่งขันกันจริง

แทนที่จะถามโจทย์ทีละข้อ CoffeeBench โยนโมเดลเข้าไปใน ห่วงโซ่อุปทานกาแฟจำลอง แล้วปล่อยให้มันบริหารธุรกิจตลอด 90 วันจำลอง โดยมีเป้าหมายเดียว: ทำกำไรให้ได้มากที่สุด ท่ามกลางคู่แข่ง อุปสงค์ที่ผันผวน และการขายเชื่อ

เกมจำลองห่วงโซ่กาแฟ: 6 เอเจนต์ 3 บทบาท

ในแต่ละรอบจะมีเอเจนต์ 6 ตัว แบ่งเป็น 3 บทบาท บทบาทละ 2 ราย:

• ชาวไร่ (farmers) — ผลิตเมล็ดกาแฟ
• โรงคั่ว (roasters) — รับเมล็ดดิบมาแปรรูป
• ร้านค้าปลีก (retailers) — ตั้งราคาและขายให้ผู้บริโภค

เอเจนต์ทุกตัวสื่อสารกันผ่านข้อความ สั่งซื้อ และทำธุรกรรมระหว่างกัน แต่ละบทบาทมีเครื่องมือเฉพาะของตัวเอง และระบบจำลององค์ประกอบจริงอย่างการ ขายเชื่อ (credit sales) และ อุปสงค์ที่ขึ้นลง สิ่งที่วัดจึงไม่ใช่ความรู้เรื่องกาแฟ แต่เป็นการเจรจาต่อรอง การจัดการสต็อก และการวางแผนหลายขั้นเพื่อไม่ให้ขาดทุน

ผลที่น่าสนใจ: “คิดเก่ง แต่ไม่ลงมือ”

Sakana ทดสอบโมเดล frontier หลายตัว ได้แก่ GPT-5.5, Claude Opus 4.7, Kimi K2.6, Gemini 3.1 Pro และ Claude Haiku 4.5 (โดยใช้ Claude Sonnet 4.6 เป็นตัวคุมเอเจนต์อื่น ๆ ในระบบ)

ข้อค้นพบหลักคือ โมเดลที่ทำกำไรได้ดีคือโมเดลที่ ลงมือเจรจาและสื่อสารอย่าง active ส่วนโมเดลที่ทำได้แย่มักอยู่เฉย ๆ แบบ passive จุดที่ถูกพูดถึงมากที่สุดคือ Claude Haiku 4.5 ที่แสดงอาการ “thought-action disconnect” — วิเคราะห์สถานการณ์ได้ถูกต้อง แต่ เลือกที่จะไม่ทำอะไรซ้ำ ๆ จนสุดท้ายบริหารธุรกิจขาดทุน เป็นตัวอย่างชัดว่า “เข้าใจถูก” กับ “ตัดสินใจและลงมือถูก” เป็นคนละทักษะกัน — และเบนช์มาร์กถาม-ตอบทั่วไปจับช่องว่างนี้ไม่ได้เลย

เปิดทั้งชุด: เปเปอร์ โค้ด และ trajectory

CoffeeBench เป็นโอเพนซอร์สเต็มรูปแบบ Sakana ปล่อยทั้ง เปเปอร์ (arXiv), บทความเทคนิค, trajectory การจำลองทั้งหมด และโค้ด บน GitHub (SakanaAI/CoffeeBench) ทำให้ทีมพัฒนาเอเจนต์สามารถรันซ้ำ ตรวจสอบ และต่อยอดด้วยโมเดลของตัวเองได้ทันที — เป็นจุดต่างสำคัญจากเบนช์มาร์กปิดที่เชื่อแต่ตัวเลขสรุป

มุมมอง AI Curator

CoffeeBench มาในจังหวะที่วงการกำลังเจอ “วิกฤตเบนช์มาร์ก” — โมเดลใหม่ทุกตัวเคลมคะแนน SWE-bench หรือ MMLU สูงลิ่ว แต่พอเอาไปใช้เป็นเอเจนต์งานจริงกลับล้มเหลวเรื่องการวางแผนหลายขั้นและการตัดสินใจต่อเนื่อง เบนช์มาร์กแบบถาม-ตอบครั้งเดียววัดสิ่งนี้ไม่ได้ การออกแบบให้เอเจนต์ต้องบริหารธุรกิจ 90 วันท่ามกลางคู่แข่งจึงเป็นแนวทางที่ตรงกับ “งานเอเจนต์จริง” มากกว่ามาก และผลเรื่อง Haiku 4.5 ที่ “คิดเป็นแต่ไม่ลงมือ” คือบทเรียนสำคัญสำหรับทุกคนที่กำลังสร้างเอเจนต์ — ความฉลาดของโมเดลกับความสามารถในการ “act” เป็นคนละเรื่อง

จุดที่ต้องระวังในการอ่านผล: นี่เป็นเบนช์มาร์กที่ ผู้ออกแบบเลือก setup เอง และการที่ Sakana ใช้ Claude Sonnet 4.6 เป็นตัวคุมเอเจนต์อื่นในระบบก็อาจมีผลต่อพลวัตของเกม การจัดอันดับโมเดลจาก CoffeeBench จึงควรอ่านเป็น “สัญญาณเชิงพฤติกรรม” มากกว่าตารางคะแนนตายตัว — ข้อดีคือเปิดโค้ดหมด ใครสงสัยรันตรวจเองได้

สำหรับนักพัฒนาไทย/SEA นี่คือเครื่องมือฟรีที่เอามาประเมินโมเดลก่อนเลือกใช้ในระบบเอเจนต์จริงได้ทันที โดยเฉพาะงานที่ต้องตัดสินใจต่อเนื่องเช่นบอตจัดการสต็อก ระบบจัดซื้อ หรือเอเจนต์เจรจาต่อรอง แทนที่จะเชื่อคะแนนเบนช์มาร์กการตลาดของผู้ผลิต การมีสนามทดสอบ “เชิงเศรษฐกิจหลายเอเจนต์” แบบเปิดให้รันเองคือก้าวที่ดีของการประเมินเอเจนต์ให้ใกล้ความจริงมากขึ้น

แหล่งข่าว:

• CoffeeBench — Sakana AI (26 มิ.ย. 2026)
• SakanaAI/CoffeeBench — GitHub
• CoffeeBench paper — arXiv