Microsoft 365 Copilot Agent Evaluations CLI เข้า public preview — เครื่องมือ score agent ด้วย Azure OpenAI judge, ทำงานใน Microsoft 365 Agents Toolkit, ออก HTML scorecard ใช้ใน CI/CD ได้, รองรับ multi-turn

วันที่ 8 พฤษภาคม 2026 Barry Gervin และ Sai Deepthi Kovvuru (Senior PM ของ Microsoft) ลงประกาศใน Microsoft 365 Developer Blog ว่า Microsoft 365 Copilot Agent Evaluations Tool เข้าสู่ public preview แล้ว — เป็นเครื่องมือ CLI ที่ช่วย developer วัดและปรับปรุงคุณภาพของ agent ที่สร้างสำหรับ Microsoft 365 Copilot ผ่านการ evaluate แบบ objective, repeatable และเชื่อมเข้ากับ inner-loop development + CI/CD ได้

ที่ผ่านมา การทดสอบ agent ที่ build บน Copilot Studio หรือ Microsoft 365 Agents Toolkit เป็นงาน manual ที่ทีม dev ส่วนใหญ่ทำแบบ ad-hoc — ไม่มี framework ที่ structured และ track over time ได้ ตัว tool นี้ต้องการแก้ปัญหาตรงนี้โดยเฉพาะตอน agent ขยับจาก demo เข้าสู่ production workflow ที่ stake สูง

สิ่งที่ public preview มี

CLI ออกแบบมาให้ “fit naturally” กับ workflow ของ M365 dev ที่ใช้ Microsoft 365 Agents Toolkit อยู่แล้ว — invoke CLI เพื่อ evaluate declarative agent ตรงจาก toolkit ได้เลย จุดเด่น:

• single-turn และ multi-turn evaluation — test ว่า agent retain context, จัดการ follow-up, จบงาน end-to-end ได้แบบที่ user จริงใช้ไหม
• interactive agent picker — เลือก agent ที่จะ run evaluation ได้ผ่าน UI prompt ทีม testing แยกจาก dev ก็ใช้ได้
• Evaluator หลายแบบ — Coherence และ Groundedness (LLM-based, ใช้ Azure OpenAI เป็น judge) หรือ ExactMatch / PartialMatch (code-based) — ดู doc ของ Microsoft Learn สำหรับ list เต็ม
• HTML scorecard report — ออก artifact ที่แชร์กันได้ใน team, attach ใน code review, หรือ feed เข้า CI/CD pipeline เป็น quality gate

นอกจากนี้ ยังเข้าถึง evaluation skill จาก coding agent — เช่น microsoft-365-agents-toolkit@workiq สำหรับ Claude Code และ Copilot ใน vibe-coding workflow

requirement สำหรับลอง

ตัว preview ฟรีในช่วงนี้ แต่ต้องมี:

• Microsoft 365 Copilot license
• agent ที่ deploy แล้วใน tenant
• Node.js 24.12.0+
• admin consent ให้ tool รันใน tenant
• Azure OpenAI endpoint สำหรับ LLM-judge evaluators

แล้ว source code อยู่ที่ github.com/microsoft/m365-copilot-eval เปิดให้ contribute และ file issue ใน GitHub

ความสำคัญ — agent evaluation กลายเป็น standard practice

ทีม Microsoft อธิบาย rationale ในบล็อก: “As agents move from demos into core business workflows, the bar for shipping rises with them. Customers expect agents that are accurate, grounded, and consistent across the breadth of real-world prompts they receive. Meeting that bar requires more than manual testing”

นี่คือ direction ที่หลาย vendor agent platform วิ่งกันคือ make agent quality measurable และ enforceable ใน CI — เหมือน unit test กลายเป็น standard ของ software dev เมื่อ 20 ปีก่อน — Microsoft กับ Copilot Studio ตอนนี้กำลัง move agent quality เข้าสู่ pipeline เดียวกัน

ตัวเลือกใน market ที่คล้ายกัน — Anthropic มี Evals API ใน Claude Console, OpenAI มี Evals platform, LangSmith ของ LangChain มี trace-based eval, Braintrust กับ Promptfoo เป็น independent — แต่ Microsoft 365 Copilot Agent Evaluations เป็นตัวแรกที่ tightly integrate กับ enterprise governance stack ของ M365 (สิทธิ์ admin, tenant boundary, Azure OpenAI judge) — สำหรับ enterprise dev บน M365 นี่คือ path of least resistance

มุมมอง AI Curator

เรื่องนี้เล็กในแง่ news cycle (ไม่มี new model, ไม่มี $50B funding) แต่ใหญ่มากในแง่ industry maturation — มัน signal ว่า agent ecosystem กำลังเข้าสู่ phase post-prototype ที่ต้องการ tooling แบบ production engineering

สำหรับบริษัทไทยที่กำลัง deploy Copilot agents ใน M365 — implication หลัก:

ต้องเริ่ม “agent eval as code” ทันที — ไม่ใช่รอจน scale ใหญ่ — ตอนนี้คือเวลาที่ดีที่สุดที่จะ structure prompt suite ของคุณให้ test ได้แบบ repeatable เพราะถ้าไม่ทำ eventually คุณจะมี agent หลาย ๆ ตัวที่ behavior drift และไม่มีใครรู้ว่าทำไม

Azure OpenAI judge cost คือต้นทุนใหม่ที่ต้อง budget — preview tool ฟรี แต่ Azure OpenAI calls ที่ใช้ score เป็นต้นทุนจริง — เริ่ม design eval set ที่ representative แต่ไม่ใหญ่เกินจำเป็น

workiq skill สำหรับ Claude Code และ Copilot = signal ว่า Microsoft ยอมรับ heterogeneous coding agent stack — ปกติ Microsoft จะ push GitHub Copilot only แต่การที่ workiq skill รองรับ Claude Code ตรง ๆ คือการยอมรับ reality ของ Thai dev ส่วนใหญ่ที่ใช้ multi-vendor agent

ที่ตามดู — ใน Build 2026 (ปกติ พฤษภาคม) Microsoft น่าจะ promote tool นี้เป็น standard practice พร้อมประกาศ GA timeline — ทีม Thai dev ที่ลองตอน preview จะได้ feedback loop เร็วและสามารถ shape feature ผ่าน GitHub issue ได้

แหล่งข่าว

• Microsoft DevBlogs — Announcing the public preview of the Microsoft 365 Copilot Agent Evaluations tool
• GitHub — microsoft/m365-copilot-eval
• Microsoft Learn — Microsoft 365 Copilot Agent Evaluations CLI overview