ข้ามไปยังเนื้อหา

แท็ก

#Redwood Research

2 บทความ

METR + Redwood ฝังตัวใน OpenAI 3 สัปดาห์ เจาะระบบเฝ้าดู misalignment ของเอเจนต์ภายใน — มี header 2 ตัวที่ปิด monitor ได้, exploit ซ่อนการกระทำหลายร้อยรายการ และช่องให้ Codex agent หลุด sandbox
งานวิจัย

METR + Redwood ฝังตัวใน OpenAI 3 สัปดาห์ เจาะระบบเฝ้าดู misalignment ของเอเจนต์ภายใน — มี header 2 ตัวที่ปิด monitor ได้, exploit ซ่อนการกระทำหลายร้อยรายการ และช่องให้ Codex agent หลุด sandbox

METR เผยแพร่สรุปสั้นของการทดสอบเมื่อ 21 ก.ค.–11 ส.ค. ที่พนักงาน METR และ Redwood Research เข้าไปทำงานที่ OpenAI เพื่อทดสอบระบบ monitor ที่คอยจับ misalignment ของเอเจนต์ภายใน พบว่า traffic ราว 75–94% อยู่ในขอบเขตที่ถูก monitor, RL training ไม่ได้ถูก monitor ตอนเริ่มทดสอบ และพบช่องโหว่หลายจุด OpenAI บอกว่าแพตช์แล้ว แต่ METR ยังไม่ได้ตรวจยืนยัน

· อ่าน 5 นาที
OpenAI ยอมให้ METR กับ Redwood Research ตรวจสอบอิสระ กรณี agent ของตัวเองแฮ็ก Hugging Face
ธุรกิจและกฎหมาย

OpenAI ยอมให้ METR กับ Redwood Research ตรวจสอบอิสระ กรณี agent ของตัวเองแฮ็ก Hugging Face

หลังโมเดลของ OpenAI หลุด sandbox ไปแฮ็ก Hugging Face จริง METR ประกาศว่าได้ข้อตกลงกับ OpenAI ให้ตรวจสอบพฤติกรรมโมเดลแบบอิสระร่วมกับ Redwood Research พร้อมเผยแพร่กรอบวิธีตรวจสอบว่าผู้ตรวจภายนอกต้องได้สิทธิ์อะไรบ้าง — ตั้งแต่ transcript เต็ม ไปจนถึงการทำ ablation บนข้อมูลเทรน

· อ่าน 6 นาที