vLLM v0.22.0 — เซิร์ฟเวอร์ inference ตัวหลักรองรับ DeepSeek V4 เต็มตัว, NVFP4 บน Blackwell และ MTP speculative decoding

vLLM เซิร์ฟเวอร์ inference โอเพนซอร์สที่กลายเป็นมาตรฐานโดยพฤตินัยของการรันโมเดลภาษาในระดับ production ปล่อยเวอร์ชัน v0.22.0 ที่อัดฟีเจอร์สำหรับยุคโมเดล MoE ขนาดล้านล้านพารามิเตอร์และฮาร์ดแวร์ Blackwell รุ่นใหม่ รวม 459 commit จากผู้ร่วมพัฒนา 230 คน (ในจำนวนนี้เป็นหน้าใหม่ 63 คน) สะท้อนความคึกคักของระบบนิเวศ inference โอเพนซอร์ส

DeepSeek V4 ได้รับการยกเครื่อง

ไฮไลต์คือการรองรับ DeepSeek V4 ที่ถูกจัดระเบียบใหม่เป็นแพ็กเกจเฉพาะ (vllm/models/deepseek_v4/) พร้อม NVFP4 fused MoE, CUDA graph แบบเต็มและแบบ piecewise และ MTP (multi-token prediction) speculative decoding ที่ช่วยเร่งความเร็วการ decode

DeepSeek V4 เป็นตระกูลที่ใหญ่มาก — รุ่น Pro 1.6 ล้านล้านพารามิเตอร์ (ต้องใช้ B200/B300 แปดใบ) และรุ่น Flash 285B (สี่ใบ) ทั้งคู่รองรับ context สูงถึง 1M โทเคน การที่ vLLM รองรับตั้งแต่วันแรกทำให้ทีมที่มีฮาร์ดแวร์พร้อมเอาไปรันได้ทันที

บีบ KV cache และเร่งบน Blackwell

อีกชุดที่สำคัญคือการจัดการ KV cache สำหรับ context ยาว vLLM เพิ่มเทคนิคอย่าง shared KV vectors (ประหยัดหน่วยความจำ 2 เท่า), DeepSeek Sparse Attention (DSA) และการบีบอัด KV cache แบบ c4a/c128a ทำให้ KV cache เล็กลงราว 8.7 เท่าเทียบรุ่นก่อนที่ context 1M รวมถึง framework สำหรับ offload KV cache หลายชั้นลงดิสก์

ฝั่งฮาร์ดแวร์ NVIDIA Blackwell (SM12x) ได้ FlashInfer MoE และ FP4 GEMM ส่วน batch-invariant inference ให้ผลลดเวลาตอบรวม 28.9% ด้วย Cutlass FP8 และยังคงความเท่าเทียมฝั่ง AMD ROCm

มุมมอง AI Curator

vLLM คือชิ้นส่วนที่นักพัฒนาไทยสาย infra ควรจับตาที่สุด เพราะมันคือชั้นที่อยู่ “ใต้” ทุกอย่าง — ไม่ว่าจะรันโมเดลโอเพนเวตตัวไหน (DeepSeek, Qwen, GLM, Llama) ประสิทธิภาพและต้นทุนจริงขึ้นกับว่า serve ด้วยอะไร การที่ v0.22 บีบ KV cache ลงเกือบ 9 เท่าที่ context ยาว แปลตรง ๆ เป็นค่า GPU ที่ถูกลงสำหรับงาน RAG/agent ที่ต้องป้อนบริบทมหาศาล

สำหรับทีมไทยที่กำลังสร้างบริการ AI ของตัวเอง บทเรียนคือ “เลือกโมเดลให้ดีแล้วยังไม่พอ ต้องเลือก serving stack ให้เป็นด้วย” การอัปเกรด vLLM ให้ทันรุ่นใหม่อาจให้ผลด้านต้นทุน/ความเร็วมากกว่าการเปลี่ยนโมเดลเสียอีก แม้ฟีเจอร์ระดับ Blackwell/DeepSeek V4 Pro จะยังไกลตัวสำหรับงบส่วนใหญ่ แต่เทคนิคบีบ KV cache ใช้ได้กับโมเดลเล็กบนการ์ดที่จับต้องได้เช่นกัน

แหล่งข่าว:

• vLLM v0.22.0 Release — GitHub (official)
• DeepSeek V4 in vLLM — vLLM Blog