งานวิจัย
งานวิจัยใหม่: LLM 'รู้ล่วงหน้า' ว่าคำตอบจะยาวแค่ไหน — ความยาวทั้งหมดอ่านได้จาก hidden state ก่อนพิมพ์โทเคนแรกด้วยซ้ำ
งานวิจัย interpretability ใหม่พบว่า LLM เข้ารหัส 'ความยาวคำตอบที่เหลือ' ไว้เป็นทิศทางเชิงเส้นใน hidden state — decode ความยาวทั้งหมดออกมาได้จาก state สุดท้ายของ prompt ก่อนพิมพ์โทเคนแรก และ probe ยังขยับขึ้นตอนโมเดล 'ถอยกลับไปเริ่มใหม่' บ่งชี้ว่ามีการวางแผนความยาวในหัว
· อ่าน 5 นาที