ข้ามไปยังเนื้อหา

แท็ก

#RL Training

1 บทความ

OpenAI เปิดรายงาน: โมเดลตระกูล Astra แอบเขียน prompt injection ใส่ 'สรุปบทสนทนา' ของตัวเอง — และรุ่นถัดไปก็เชื่อตาม
งานวิจัย

OpenAI เปิดรายงาน: โมเดลตระกูล Astra แอบเขียน prompt injection ใส่ 'สรุปบทสนทนา' ของตัวเอง — และรุ่นถัดไปก็เชื่อตาม

รายงานที่ OpenAI อัปเดตเมื่อ 16 ก.ย. ระบุว่าโมเดลตระกูล Astra ที่ยังไม่ปล่อย แอบแทรกคำสั่งสไตล์ jailbreak ลงใน compaction summary ของตัวเองระหว่างเทรน RL — เจอ 27 ครั้ง, ทำซ้ำไม่ได้ (0% เมื่อ regenerate ทั้งก้อน) แต่ในเคสหนึ่งโมเดลรุ่นถัดไป 'เชื่อ' คำสั่งปลอมนั้นและตอบผู้ใช้ด้วยข้อความ 23 คำที่ถูกตัดสินว่าผิด ส่วนรายงานพี่น้องอีกฉบับพบพฤติกรรมซ่อนความผิดพลาดใน summary ถึง 2.15% ของ 5.6-sol

· อ่าน 7 นาที