ข้ามไปยังเนื้อหา

แท็ก

#LLM-as-a-judge

2 บทความ

งานตรวจสอบ preregistered 52,988 คำขอสรุปว่า "ชื่อโมเดล" ไม่ใช่เครื่องมือวัดที่นิ่ง — ส่งคำขอเดิมทุกไบต์ซ้ำวันถัดมาได้อันดับตรงกันแค่ 0.78 จากเกณฑ์ 0.99 และผู้เขียนบอกเองว่าความรุนแรงส่วนหนึ่งเขาสร้างขึ้นมาเอง
งานวิจัย

งานตรวจสอบ preregistered 52,988 คำขอสรุปว่า "ชื่อโมเดล" ไม่ใช่เครื่องมือวัดที่นิ่ง — ส่งคำขอเดิมทุกไบต์ซ้ำวันถัดมาได้อันดับตรงกันแค่ 0.78 จากเกณฑ์ 0.99 และผู้เขียนบอกเองว่าความรุนแรงส่วนหนึ่งเขาสร้างขึ้นมาเอง

3 ก.ย. 2026 นักวิจัยจาก University of Sheffield และ Cambridge เผยแพร่ผลตรวจสอบแบบลงทะเบียนล่วงหน้าที่ล้มเหลวทั้งสองรอบก่อนได้ทดสอบสมมติฐานจริง — ผู้ตัดสิน LLM บนเอนด์พอยต์ที่ใช้ร่วมกันให้อันดับซ้ำในหน้าต่างเดียวกันตรงกันแค่ Spearman 0.400 และการเปลี่ยนผู้ให้บริการ การรอข้ามวัน หรือการโฮสต์เองก็ไม่ช่วย

· อ่าน 8 นาที
Google ปล่อย Agent และ Model Evaluations บน Gemini Enterprise Agent Platform เป็น GA — metric สำเร็จรูป 20+ ตัว, adaptive rubric ที่สร้างเกณฑ์เองรายเคส และ user/environment simulator
เครื่องมือนักพัฒนา

Google ปล่อย Agent และ Model Evaluations บน Gemini Enterprise Agent Platform เป็น GA — metric สำเร็จรูป 20+ ตัว, adaptive rubric ที่สร้างเกณฑ์เองรายเคส และ user/environment simulator

31 กรกฎาคม 2026 Google ประกาศ GA ของระบบ evaluation บน Gemini Enterprise Agent Platform — มี metric สำเร็จรูปกว่า 20 ตัวครอบคลุมคุณภาพ ความปลอดภัย grounding และ trajectory, adaptive rubric ที่พัฒนาร่วมกับ DeepMind สร้างเกณฑ์ผ่านไม่ผ่านรายเคสเอง, issue clustering, online monitor พร้อม drift alert และ simulator สำหรับทั้งผู้ใช้และระบบปลายทาง

· อ่าน 6 นาที