Google TurboQuant ที่ ICLR 2026 — บีบ KV cache เหลือ 3 bit โดยไม่ต้องฝึกใหม่

Google ตีพิมพ์งานวิจัย TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate ที่ ICLR 2026 ซึ่งแก้ปัญหาที่น่าเบื่อแต่สำคัญมากสำหรับการรัน LLM ขนาดใหญ่ — memory overhead ของ vector quantization

ปัญหาเดิม

Vector quantization แบบดั้งเดิมมีต้นทุนซ่อนที่หลายคนมองข้าม: ต้องคำนวณและเก็บ quantization constant เป็น full precision สำหรับ block ข้อมูลเล็ก ๆ ทุก block ซึ่งเพิ่ม 1-2 bit ต่อค่าเสมอ ผลคือพอจะประหยัดหน่วยความจำ ก็กลับเสียคืนผ่าน metadata

TurboQuant แก้อย่างไร

ใช้ 2 เทคนิคผสม:

• Random rotation ที่ทำให้ค่าที่เข้าโมเดลมี concentrated Beta distribution — แล้วใช้ scalar quantizer optimal ต่อแต่ละ coordinate
• Two-stage approach — MSE-optimal quantizer ก่อน แล้วตามด้วย 1-bit Quantized Johnson–Lindenstrauss (QJL) transform เพื่อแก้ bias ของ inner product estimation

สิ่งที่ทำให้งานนี้โดดเด่นคือไม่ต้องฝึกหรือ fine-tune ใหม่ ใช้ได้กับโมเดล pre-trained เดิม

ผลลัพธ์

• KV cache ที่ 3.5 bit/channel — quality neutral (ไม่ต่างจาก full precision)
• KV cache ที่ 2.5 bit/channel — degrade แบบ marginal
• KV cache ที่ 3 bit — ทำงานเร็วกว่า LLM เดิมด้วยซ้ำ (เพราะ memory bandwidth ลด)

มุมมอง AI Curator

งาน quantization มักถูกมองว่า “ไม่เซ็กซี่” — ไม่มี benchmark ใหญ่ ไม่ได้ไวรัลบน X — แต่ผลกระทบต่อคอสต์จริงมหาศาล ถ้า KV cache ลดลง 4-5 เท่าโดย quality neutral การรัน Claude Opus หรือ Gemini Pro บน GPU ตัวเล็กลงก็เป็นไปได้ กล่าวอีกนัย: ราคาต่อ query ลดลงทันทีโดยที่ไม่ต้องทำอะไรกับตัวโมเดล

สิ่งที่น่าจับตา:

หนึ่ง — ตอนนี้ llama.cpp มี discussion thread แล้วว่าจะ integrate TurboQuant เข้าใน runtime แปลว่า open-source community จะได้ใช้เร็วมาก — ไม่ต้องรอ vendor framework

สอง — สำหรับสตาร์ทอัปไทยที่พยายาม self-host LLM บน GPU budget จำกัด (เช่น A10, A6000) — งานนี้คือการเปิดประตูให้รันโมเดล 70B+ บนเครื่องที่เดิมรันแค่ 13B ได้

สาม — Google ตีพิมพ์งานเปิด แสดง intention ชัดว่าอยาก set standard มากกว่ากักไว้ประโยชน์ตัวเอง ซึ่งเป็น pattern ที่เคยเห็นกับ Transformer (Attention is All You Need) — งานที่ถือว่า “ให้ฟรี” แต่ทำให้ทั้ง ecosystem พึ่ง infrastructure ของ Google มากขึ้น

---

แหล่งข่าว: Google Research · ICLR 2026 Poster · OpenReview PDF