แท็ก

#Evals

5 บทความ

Anthropic แนะ “ยุบ subagent กลับเข้า agent loop เดียว” พร้อมปล่อย single-agent-loop-kit เป็น skill ของ Claude Code ที่ช่วย audit ระบบ multi-agent แล้วพับทีละตัวโดยวัดด้วย eval ก่อน-หลัง
AI Skills

Anthropic แนะ “ยุบ subagent กลับเข้า agent loop เดียว” พร้อมปล่อย single-agent-loop-kit เป็น skill ของ Claude Code ที่ช่วย audit ระบบ multi-agent แล้วพับทีละตัวโดยวัดด้วย eval ก่อน-หลัง

บทความ 22 ต.ค. จากทีม Applied AI ของ Anthropic บอกว่า agent ตัวเดียวที่โหลด skill และ tool เมื่อจำเป็น มักให้คุณภาพดีกว่า ถูกกว่า และเร็วกว่าการแตก subagent ตามผังองค์กร ลูกค้ารายหนึ่งเร็วขึ้นราว 2 เท่า พร้อมปล่อย single-agent-loop-kit (Apache-2.0) เป็น skill ที่ audit ระบบเดิมแล้วพับ subagent ทีละตัว และเก็บไว้เฉพาะตัวที่ eval บอกว่ายังจำเป็น

· อ่าน 5 นาที
Microsoft ทดสอบ 749 งานพิสูจน์ว่า knowledge cutoff ใช้เดาไม่ได้ว่าโมเดลรู้จักผลิตภัณฑ์ของคุณแค่ไหน — GPT-5.6 Luna ผ่านแค่ 15–18% และถูก-ผิดกระจายมั่วทุกเวอร์ชัน
เครื่องมือนักพัฒนา

Microsoft ทดสอบ 749 งานพิสูจน์ว่า knowledge cutoff ใช้เดาไม่ได้ว่าโมเดลรู้จักผลิตภัณฑ์ของคุณแค่ไหน — GPT-5.6 Luna ผ่านแค่ 15–18% และถูก-ผิดกระจายมั่วทุกเวอร์ชัน

Waldek Mastykarz จาก Microsoft ลองหา 'เวอร์ชันสุดท้ายที่โมเดลรู้จัก' ของ Dev Proxy และ SPFx ด้วยงานทดสอบ 749 ชิ้น ผลคือไม่มีเส้นแบ่งเลย — โมเดลพลาดฟีเจอร์ที่ออกก่อน cutoff หลายปี แต่กลับทำงานของเวอร์ชันที่ออกหลัง cutoff ได้ ข้อสรุปคืออย่าใช้วันที่ cutoff ตัดสินว่าจะป้อนเอกสารอะไรให้เอเจนต์ ให้วัดจากงานจริงแทน

· อ่าน 5 นาที
เมื่อ eval ของ coding agent ผ่านเพราะ sandbox รั่ว — Microsoft เล่าเคสที่ agent ถูกตัดเน็ตแล้วไปเจอซอร์สโค้ดคำตอบอยู่บนเครื่องตัวเอง
เครื่องมือนักพัฒนา

เมื่อ eval ของ coding agent ผ่านเพราะ sandbox รั่ว — Microsoft เล่าเคสที่ agent ถูกตัดเน็ตแล้วไปเจอซอร์สโค้ดคำตอบอยู่บนเครื่องตัวเอง

16 ก.ย. Waldek Mastykarz จาก Microsoft เผยแพร่เคสจริงของ eval ที่ให้ผลผ่านแต่วัดผิดสิ่ง เขาปิดเว็บและบล็อก curl เพื่อวัดความรู้ภายในของ GPT-5.6 Luna เรื่อง Dev Proxy แต่ agent ไปเจอ Dev Proxy ที่ติดตั้งอยู่บนเครื่องพร้อม git history แล้วอ่านซอร์สที่ tag v0.29.2 ตอบถูกหมด บทความเสนอให้นิยาม sandbox รอบ 'ข้อมูล' แทนที่จะไล่บล็อกทีละเครื่องมือ พร้อมเช็คลิสต์ 8 ข้อ

· อ่าน 5 นาที
Claude Code เพิ่ม claude plugin eval — วัดว่าปลั๊กอินและสกิลช่วยได้จริงไหมด้วยการรันเทียบกับ "ไม่มีปลั๊กอิน" ทุกเคส แต่ค่าดีฟอลต์ threshold 1.0 จะทำให้ CI แดงทันทีถ้าไม่สมบูรณ์แบบ
AI Skills

Claude Code เพิ่ม claude plugin eval — วัดว่าปลั๊กอินและสกิลช่วยได้จริงไหมด้วยการรันเทียบกับ "ไม่มีปลั๊กอิน" ทุกเคส แต่ค่าดีฟอลต์ threshold 1.0 จะทำให้ CI แดงทันทีถ้าไม่สมบูรณ์แบบ

Claude Code v2.1.269 (11 ก.ย. 19:17 UTC) เปิดคำสั่ง claude plugin eval ให้คนเขียนปลั๊กอินและสกิลรันชุดเทสต์ที่ให้คะแนนซ้ำได้ โดยทุกเคสรันสองแขน — มีปลั๊กอินกับไม่มีปลั๊กอิน — แล้วรายงานส่วนต่าง Δ ว่าปลั๊กอินเพิ่มอะไรจริง มี grader 6 แบบ (4 แบบฟรี) รองรับ mock MCP server และมีรหัส exit สำหรับ CI — ไบนารี v2.1.268 มีคำสั่งนี้อยู่แล้วแต่ล็อกไว้เป็น early access รายองค์กร

· อ่าน 7 นาที
จะวัดผล agent skill ที่เรียก API จริงได้อย่างไรโดยไม่เผาเงินและไม่ทำข้อมูลจริงพัง — Microsoft เสนอให้เอา Dev Proxy มาคั่น
AI Skills

จะวัดผล agent skill ที่เรียก API จริงได้อย่างไรโดยไม่เผาเงินและไม่ทำข้อมูลจริงพัง — Microsoft เสนอให้เอา Dev Proxy มาคั่น

Waldek Mastykarz จาก Microsoft เขียน (17 ก.ค. 2026) ถึงปัญหาที่คนเขียน agent skill เจอเวลาจะทำ eval กับ skill ที่เรียก API จริง — ค่า API บานปลาย, PATCH/DELETE ไปแก้ข้อมูลจริง และผลรันไม่นิ่งเพราะ state เปลี่ยน — แล้วเสนอทางออกด้วย Dev Proxy ที่ดักทราฟฟิก HTTP ตอบแทน API จริงโดย skill ยังเรียก URL เดิมไม่ต้องแก้อะไรเลย

· อ่าน 5 นาที