ข้ามไปยังเนื้อหา

แท็ก

#Agent Experience

2 บทความ

Microsoft ทดสอบ 749 งานพิสูจน์ว่า knowledge cutoff ใช้เดาไม่ได้ว่าโมเดลรู้จักผลิตภัณฑ์ของคุณแค่ไหน — GPT-5.6 Luna ผ่านแค่ 15–18% และถูก-ผิดกระจายมั่วทุกเวอร์ชัน
เครื่องมือนักพัฒนา

Microsoft ทดสอบ 749 งานพิสูจน์ว่า knowledge cutoff ใช้เดาไม่ได้ว่าโมเดลรู้จักผลิตภัณฑ์ของคุณแค่ไหน — GPT-5.6 Luna ผ่านแค่ 15–18% และถูก-ผิดกระจายมั่วทุกเวอร์ชัน

Waldek Mastykarz จาก Microsoft ลองหา 'เวอร์ชันสุดท้ายที่โมเดลรู้จัก' ของ Dev Proxy และ SPFx ด้วยงานทดสอบ 749 ชิ้น ผลคือไม่มีเส้นแบ่งเลย — โมเดลพลาดฟีเจอร์ที่ออกก่อน cutoff หลายปี แต่กลับทำงานของเวอร์ชันที่ออกหลัง cutoff ได้ ข้อสรุปคืออย่าใช้วันที่ cutoff ตัดสินว่าจะป้อนเอกสารอะไรให้เอเจนต์ ให้วัดจากงานจริงแทน

· อ่าน 5 นาที
เมื่อ eval ของ coding agent ผ่านเพราะ sandbox รั่ว — Microsoft เล่าเคสที่ agent ถูกตัดเน็ตแล้วไปเจอซอร์สโค้ดคำตอบอยู่บนเครื่องตัวเอง
เครื่องมือนักพัฒนา

เมื่อ eval ของ coding agent ผ่านเพราะ sandbox รั่ว — Microsoft เล่าเคสที่ agent ถูกตัดเน็ตแล้วไปเจอซอร์สโค้ดคำตอบอยู่บนเครื่องตัวเอง

16 ก.ย. Waldek Mastykarz จาก Microsoft เผยแพร่เคสจริงของ eval ที่ให้ผลผ่านแต่วัดผิดสิ่ง เขาปิดเว็บและบล็อก curl เพื่อวัดความรู้ภายในของ GPT-5.6 Luna เรื่อง Dev Proxy แต่ agent ไปเจอ Dev Proxy ที่ติดตั้งอยู่บนเครื่องพร้อม git history แล้วอ่านซอร์สที่ tag v0.29.2 ตอบถูกหมด บทความเสนอให้นิยาม sandbox รอบ 'ข้อมูล' แทนที่จะไล่บล็อกทีละเครื่องมือ พร้อมเช็คลิสต์ 8 ข้อ

· อ่าน 5 นาที