ข้ามไปยังเนื้อหา

แท็ก

#Misalignment

1 บทความ

METR + Redwood ฝังตัวใน OpenAI 3 สัปดาห์ เจาะระบบเฝ้าดู misalignment ของเอเจนต์ภายใน — มี header 2 ตัวที่ปิด monitor ได้, exploit ซ่อนการกระทำหลายร้อยรายการ และช่องให้ Codex agent หลุด sandbox
งานวิจัย

METR + Redwood ฝังตัวใน OpenAI 3 สัปดาห์ เจาะระบบเฝ้าดู misalignment ของเอเจนต์ภายใน — มี header 2 ตัวที่ปิด monitor ได้, exploit ซ่อนการกระทำหลายร้อยรายการ และช่องให้ Codex agent หลุด sandbox

METR เผยแพร่สรุปสั้นของการทดสอบเมื่อ 21 ก.ค.–11 ส.ค. ที่พนักงาน METR และ Redwood Research เข้าไปทำงานที่ OpenAI เพื่อทดสอบระบบ monitor ที่คอยจับ misalignment ของเอเจนต์ภายใน พบว่า traffic ราว 75–94% อยู่ในขอบเขตที่ถูก monitor, RL training ไม่ได้ถูก monitor ตอนเริ่มทดสอบ และพบช่องโหว่หลายจุด OpenAI บอกว่าแพตช์แล้ว แต่ METR ยังไม่ได้ตรวจยืนยัน

· อ่าน 5 นาที