งานวิจัยใหม่: LLM 'รู้ล่วงหน้า' ว่าคำตอบจะยาวแค่ไหน — ความยาวทั้งหมดอ่านได้จาก hidden state ก่อนพิมพ์โทเคนแรกด้วยซ้ำ

งานวิจัยด้าน interpretability ใหม่บน arXiv (ส่งเมื่อ 6 ก.ค. 2026) ชื่อ “How Much is Left? LLMs Linearly Encode Their Remaining Output Length” ให้ผลที่ทั้งชวนทึ่งและใช้งานได้จริง: ก่อนที่โมเดลจะพิมพ์โทเคนแรกออกมา มันได้ “รู้” คร่าว ๆ แล้วว่าคำตอบทั้งหมดจะยาวแค่ไหน — และข้อมูลนั้นอ่านออกมาได้ด้วย linear probe ตัวเล็ก ๆ จาก hidden state สุดท้ายของ prompt

พูดง่าย ๆ คือ ความยาวคำตอบไม่ได้ “ค่อย ๆ โผล่” ระหว่างพิมพ์ แต่ถูก เข้ารหัสเป็นทิศทางเชิงเส้น (linear direction) ในเวกเตอร์ภายในของโมเดลตั้งแต่ต้น เหมือนโมเดลมี “แผนความยาว” อยู่ในหัวก่อนลงมือ

โมเดลรู้ความยาวได้อย่างไร

ทีมวิจัย (Mohamed Amine Merzouk และคณะ) ใช้ linear probe แบบความจุต่ำ วางบน frozen hidden state — คือไม่แตะน้ำหนักโมเดลเลย แค่ฝึกตัว probe เชิงเส้นเล็ก ๆ ให้ทำนายความยาวจากเวกเตอร์ภายใน ทดสอบกับ โมเดลเปิดขนาด 7–8B จำนวน 3 ตัว บน ชุดข้อมูลแบบ completion 7 ชุด

ผลหลัก: “ความยาวคำตอบทั้งหมด decode ได้แบบเชิงเส้นจาก hidden state สุดท้ายของ prompt เพียงอย่างเดียว ก่อนที่จะมีการปล่อยผลลัพธ์ใด ๆ ออกมา” — และเป็นกลไก ประมาณค่า (approximate estimation) ไม่ใช่การนับโทเคนแบบเป๊ะ ๆ ซึ่งเป็นการเลี่ยงข้อจำกัดเชิงทฤษฎีที่งานก่อนหน้าเคยชี้ว่าการนับโทเคนแบบแน่นอนนั้นเป็นไปไม่ได้

หลักฐานว่ามันคือ “แผน” ไม่ใช่บังเอิญ

จุดที่น่าสนใจที่สุดคือสองข้อสังเกตที่บ่งชี้ว่านี่คือ การวางแผนภายในจริง ๆ ไม่ใช่สัญญาณสถิติบังเอิญ:

• ทิศทางของ probe ถ่ายโอนข้ามชุดข้อมูลได้กว้าง — probe ที่ฝึกบนข้อมูลภาษาธรรมชาติ ใช้ได้ดีแม้กับ completion สังเคราะห์ที่ควบคุมไว้และไม่เคยเห็นตอนฝึก และทำได้ดีกว่า baseline เชิงสถิติ (แต่การถ่ายโอนย้อนกลับมักล้มเหลว — เป็นความไม่สมมาตรที่บ่งชี้ว่าการเข้ารหัสมีทิศทาง)
• ค่าประมาณขยับขึ้นตอนโมเดล “ถอยกลับไปเริ่มใหม่” — บน completion ที่ loss สูงและมีการแก้ไข ค่าที่ probe ทำนายต่อโทเคน จะกระโดดขึ้นในจังหวะที่โมเดลถอนคำตอบบางส่วนแล้วเริ่มใหม่ เหมือนโมเดล “รู้ตัว” ว่าเพิ่งเพิ่มงานให้ตัวเองและคำตอบจะยาวขึ้น

มุมมอง AI Curator

งานนี้อยู่ในสายที่ผมคิดว่ากำลังจะมีผลจริงกับวิศวกรรมระบบ ไม่ใช่แค่ความเข้าใจทางทฤษฎี ถ้าเราดึง “ความยาวที่โมเดลคาดว่าจะตอบ” ออกมาได้ตั้งแต่ก่อนพิมพ์โทเคนแรก มันเปิดทางสู่ของที่ทีมงาน infra อยากได้มานาน — การทำนาย latency ล่วงหน้า และ budget-aware decoding (จัดคิว/จัด batch/ตัดสินใจ route ตามความยาวที่คาดไว้) ลองจินตนาการ scheduler ที่รู้ตั้งแต่รับ request ว่างานนี้จะตอบสั้นหรือยาว แล้วจัดสรร GPU ให้เหมาะ — นั่นแปลว่าคิวสั้นลง ต้นทุนต่อ token คุมได้ดีขึ้น และ SLA แม่นขึ้น

สำหรับทีมไทยที่รันโมเดลเปิดขนาด 7–8B เองบนฮาร์ดแวร์จำกัด นี่ยิ่งตรงจุด เพราะ probe ตัวนี้ เบามาก ทำงานบน frozen state ไม่ต้อง fine-tune โมเดลใหม่ ต้นทุนเพิ่มแทบเป็นศูนย์ ในทางกลับกัน มันก็เป็นเครื่องเตือนเรื่อง interpretability ว่า ข้อมูลระดับ “แผน” ถูกเข้ารหัสในโมเดลมากกว่าที่เราคิด — ถ้าโมเดลเข้ารหัส “คำตอบจะยาวแค่ไหน” ได้แบบเชิงเส้น คำถามต่อไปคือ มันเข้ารหัสอย่างอื่นอะไรไว้อีก (เช่น “จะปฏิเสธไหม” “มั่นใจแค่ไหน”) ที่เราดึงออกมาใช้ควบคุมพฤติกรรมได้ นี่คือทิศทางที่ทำให้ interpretability ขยับจาก “เข้าใจโมเดล” ไปสู่ “ควบคุมโมเดลได้แม่นขึ้น”

แหล่งข่าว

• How Much is Left? LLMs Linearly Encode Their Remaining Output Length — arXiv:2607.05316
• ฉบับ HTML เต็ม (arXiv)