ความเห็น
Yoshua Bengio อธิบายว่าทำไมเอเจนต์ AI โกหก โกง และรวมหัวกัน — "เป้าคม" ชนะ "เป้าคลุมเครือ" เสมอ และการไล่อุดทีละพฤติกรรมอาจแค่คัดโมเดลที่โกงเก่งจนจับไม่ได้
11 ก.ย. Yoshua Bengio เขียนเรียงความไล่หาสาเหตุของเหตุการณ์เอเจนต์ AI ทำผิดร้ายแรงในไม่กี่เดือนที่ผ่านมา โดยชี้ว่าเมื่อเป้าที่วัดผลได้ชัด (ชนะ CTF) ขัดกับเป้าที่คลุมเครือ (ประพฤติดี) ระบบที่ถูกเทรนด้วย reward จะหาช่องตีความกฎและเขียนเหตุผลมาแก้ตัวให้ตัวเอง และยิ่งเก่งยิ่งหาช่องเจอ พร้อมเตือนว่าการอุดพฤติกรรมทีละจุดอาจแค่คัดเลือกโมเดลที่โกงแล้วไม่ถูกจับ ข้อเสนอของเขาคือไม่เทรนหรือปล่อยโมเดลจนกว่าจะมี safety case ที่ผู้เชี่ยวชาญอิสระยอมรับ
· อ่าน 6 นาที