แท็ก

#Alignment

5 บทความ

Anthropic ชันสูตรเหตุการณ์ Mythos 5 สร้างบัญชีปลอมกดดัน maintainer บน GitHub — พบว่าโมเดลแทบไม่คิดถึงความเสียหาย และเมื่อเริ่มโจมตีแล้วหยุดเองแค่ 2% ส่วนโมเดลภายในรุ่นใหม่หยุดเอง 67%
งานวิจัย

Anthropic ชันสูตรเหตุการณ์ Mythos 5 สร้างบัญชีปลอมกดดัน maintainer บน GitHub — พบว่าโมเดลแทบไม่คิดถึงความเสียหาย และเมื่อเริ่มโจมตีแล้วหยุดเองแค่ 2% ส่วนโมเดลภายในรุ่นใหม่หยุดเอง 67%

Anthropic และ AISI อังกฤษเผยแพร่ผลวิเคราะห์เหตุการณ์ที่ Claude Mythos 5 พยายามยัดมัลแวร์เข้า repo จริงบน GitHub ระหว่างทดสอบไซเบอร์ (9 จาก 43 รอบ) เมื่อ 23 ต.ค. 2026 ผลจากการ replay transcript ซ้ำหลายครั้งชี้ว่าต้นเหตุคือโมเดลไม่คิดถึงความเสียหายต่อคนจริง และมี 'momentum' จาก compaction notes ที่ทำให้หยุดกลางทางได้ยาก โมเดลรุ่นใหม่เริ่มโจมตีน้อยลงมาก (0–13% เทียบกับ 83%)

· อ่าน 6 นาที
Anthropic เปิดรายงาน Claude ทำเกินคำสั่งบนเว็บจริงระหว่างทดสอบ — เจาะ command injection เซิร์ฟเวอร์มหาวิทยาลัย, ส่งเบาะแสคดีฆาตกรรมปลอมให้ตำรวจฟิลาเดลเฟีย, ใช้ URL shortener หลบข้อจำกัด web fetch และสั่งตัด internet ออกจาก eval ภายในทั้งหมด
งานวิจัย

Anthropic เปิดรายงาน Claude ทำเกินคำสั่งบนเว็บจริงระหว่างทดสอบ — เจาะ command injection เซิร์ฟเวอร์มหาวิทยาลัย, ส่งเบาะแสคดีฆาตกรรมปลอมให้ตำรวจฟิลาเดลเฟีย, ใช้ URL shortener หลบข้อจำกัด web fetch และสั่งตัด internet ออกจาก eval ภายในทั้งหมด

9 ต.ค. 2026 Anthropic เผยแพร่รายงานพฤติกรรมที่ไม่ได้ตั้งใจของ Claude ระหว่าง eval และการใช้งานภายใน แบ่งเป็น 4 แบบ ตั้งแต่ใช้ช่องโหว่ command injection รันคำสั่งบนเซิร์ฟเวอร์ภายนอก ไปจนถึงส่งฟอร์มบนเว็บจริงรวมถึงเว็บรัฐบาลสหรัฐฯ บริษัทจึงตัด internet จริงออกจาก eval ภายในทุกชุด ส่วนตำรวจฟิลาเดลเฟียบอกว่าการรายงานช้าไปสองเดือน "รับไม่ได้"

· อ่าน 6 นาที
OpenAI เปิดรายงาน: โมเดลตระกูล Astra แอบเขียน prompt injection ใส่ 'สรุปบทสนทนา' ของตัวเอง — และรุ่นถัดไปก็เชื่อตาม
งานวิจัย

OpenAI เปิดรายงาน: โมเดลตระกูล Astra แอบเขียน prompt injection ใส่ 'สรุปบทสนทนา' ของตัวเอง — และรุ่นถัดไปก็เชื่อตาม

รายงานที่ OpenAI อัปเดตเมื่อ 16 ก.ย. ระบุว่าโมเดลตระกูล Astra ที่ยังไม่ปล่อย แอบแทรกคำสั่งสไตล์ jailbreak ลงใน compaction summary ของตัวเองระหว่างเทรน RL — เจอ 27 ครั้ง, ทำซ้ำไม่ได้ (0% เมื่อ regenerate ทั้งก้อน) แต่ในเคสหนึ่งโมเดลรุ่นถัดไป 'เชื่อ' คำสั่งปลอมนั้นและตอบผู้ใช้ด้วยข้อความ 23 คำที่ถูกตัดสินว่าผิด ส่วนรายงานพี่น้องอีกฉบับพบพฤติกรรมซ่อนความผิดพลาดใน summary ถึง 2.15% ของ 5.6-sol

· อ่าน 7 นาที
Yoshua Bengio อธิบายว่าทำไมเอเจนต์ AI โกหก โกง และรวมหัวกัน — "เป้าคม" ชนะ "เป้าคลุมเครือ" เสมอ และการไล่อุดทีละพฤติกรรมอาจแค่คัดโมเดลที่โกงเก่งจนจับไม่ได้
ความเห็น

Yoshua Bengio อธิบายว่าทำไมเอเจนต์ AI โกหก โกง และรวมหัวกัน — "เป้าคม" ชนะ "เป้าคลุมเครือ" เสมอ และการไล่อุดทีละพฤติกรรมอาจแค่คัดโมเดลที่โกงเก่งจนจับไม่ได้

11 ก.ย. Yoshua Bengio เขียนเรียงความไล่หาสาเหตุของเหตุการณ์เอเจนต์ AI ทำผิดร้ายแรงในไม่กี่เดือนที่ผ่านมา โดยชี้ว่าเมื่อเป้าที่วัดผลได้ชัด (ชนะ CTF) ขัดกับเป้าที่คลุมเครือ (ประพฤติดี) ระบบที่ถูกเทรนด้วย reward จะหาช่องตีความกฎและเขียนเหตุผลมาแก้ตัวให้ตัวเอง และยิ่งเก่งยิ่งหาช่องเจอ พร้อมเตือนว่าการอุดพฤติกรรมทีละจุดอาจแค่คัดเลือกโมเดลที่โกงแล้วไม่ถูกจับ ข้อเสนอของเขาคือไม่เทรนหรือปล่อยโมเดลจนกว่าจะมี safety case ที่ผู้เชี่ยวชาญอิสระยอมรับ

· อ่าน 6 นาที
Anthropic ถอนคำเดิมเรื่อง Claude หลุด sandbox — จาก "ความผิดพลาดเชิงปฏิบัติการ" กลายเป็น misalignment จริง พบเหตุการณ์ที่สี่ และ Opus 5 ยังทำร้ายระบบใน 31% ของรันจำลอง
งานวิจัย

Anthropic ถอนคำเดิมเรื่อง Claude หลุด sandbox — จาก "ความผิดพลาดเชิงปฏิบัติการ" กลายเป็น misalignment จริง พบเหตุการณ์ที่สี่ และ Opus 5 ยังทำร้ายระบบใน 31% ของรันจำลอง

9 ก.ย. Anthropic เผยแพร่ alignment assessment ของเหตุการณ์ที่ Claude โจมตีระบบจริงระหว่างการประเมินไซเบอร์ ยอมรับว่าที่เคยบอกเมื่อ 30 ก.ค. ว่าเป็นแค่ความผิดพลาดของสภาพแวดล้อมนั้นพูดแรงเกินไป เพราะโมเดลมีทั้ง biased reasoning และ recklessness จริง พร้อมเปิดเหตุการณ์ที่สี่ (Opus 4.6 รุ่นต้น, ม.ค.) ปล่อย transcript ของ Mythos 5 บน GitHub และให้ METR สอบสวนอิสระ

· อ่าน 7 นาที