แท็ก

#DeepSeek-V4

4 บทความ

vLLM 0.31 ออกแล้ว — ใช้ `vllm preload` คำสั่งเดียวก็เก็บน้ำหนักค้างบน GPU ได้, snapshot ทั้ง engine ด้วย CRIU ลดเวลาเปิดจาก 54.7 เหลือ 20.4 วินาที และ endpoint สาธารณะปลอดภัยขึ้นเพราะปฏิเสธ multimodal kwargs ที่ส่งมากับคำขอเป็นค่าเริ่มต้น
เครื่องมือนักพัฒนา

vLLM 0.31 ออกแล้ว — ใช้ `vllm preload` คำสั่งเดียวก็เก็บน้ำหนักค้างบน GPU ได้, snapshot ทั้ง engine ด้วย CRIU ลดเวลาเปิดจาก 54.7 เหลือ 20.4 วินาที และ endpoint สาธารณะปลอดภัยขึ้นเพราะปฏิเสธ multimodal kwargs ที่ส่งมากับคำขอเป็นค่าเริ่มต้น

vLLM ปล่อย 0.31.0 เมื่อ 5 ต.ค. 2026 (717 คอมมิตจาก 307 คน) Fast Start ที่มาใน 0.30 กลายเป็นคำสั่ง `vllm preload` คำสั่งเดียว มี snapshot engine แบบทดลองที่ใช้ CRIU ซึ่งลดเวลาเปิด Qwen3-32B บน H100 ลง 62.7% และมี breaking change ด้านความปลอดภัยคือ endpoint ปฏิเสธ `mm_processor_kwargs` กับ `media_io_kwargs` ที่ส่งมากับคำขอเป็นค่าเริ่มต้น

· อ่าน 5 นาที
vLLM 0.30 ออกแล้ว — Fast Start เก็บน้ำหนักค้างไว้บน GPU ให้รีสตาร์ต engine ได้โดยไม่ต้องโหลดจากดิสก์, มีระบบลายน้ำ Gumbel-max ในตัว และมี breaking change ที่ต้องเช็กก่อนอัปเกรด
เครื่องมือนักพัฒนา

vLLM 0.30 ออกแล้ว — Fast Start เก็บน้ำหนักค้างไว้บน GPU ให้รีสตาร์ต engine ได้โดยไม่ต้องโหลดจากดิสก์, มีระบบลายน้ำ Gumbel-max ในตัว และมี breaking change ที่ต้องเช็กก่อนอัปเกรด

vLLM ปล่อย 0.30.0 เมื่อ 22 ก.ย. 2026 (762 คอมมิตจาก 315 คน) ฟีเจอร์หลักคือ Fast Start ที่ใช้ daemon เก็บน้ำหนักที่ quantize และแบ่ง TP แล้วไว้บน GPU ให้ engine ที่รีสตาร์ตแมปผ่าน CUDA IPC ได้เลย, ระบบลายน้ำข้อความแบบ Gumbel-max พร้อมตัวตรวจ, HiSparse ที่ย้าย KV ไปพักใน host memory และโมเดลใหม่อย่าง DeepSeek-V4.1-Flash กับ GLM-5.3-Flash ส่วน breaking change มีทั้ง --enable-scale-out, การถอด GPTQ g_idx และการเปลี่ยนพฤติกรรม YaRN

· อ่าน 5 นาที
vLLM 0.29 เปลี่ยนเครื่องยนต์เป็น Model Runner V2 ทุกโมเดล — V1 ถูกประกาศเลิกใช้ ตั้งเป้าลบใน 0.32 และ api_server แบบเดิมถูก deprecate
เครื่องมือนักพัฒนา

vLLM 0.29 เปลี่ยนเครื่องยนต์เป็น Model Runner V2 ทุกโมเดล — V1 ถูกประกาศเลิกใช้ ตั้งเป้าลบใน 0.32 และ api_server แบบเดิมถูก deprecate

vLLM ปล่อย 0.29.0 เมื่อ 9 ก.ย. 2026 (594 คอมมิตจาก 277 คน) โดยใช้ Model Runner V2 เป็นค่าเริ่มต้นกับทุกโมเดล และประกาศว่า V1 เลิกใช้แล้ว ตั้งเป้าลบในเวอร์ชัน 0.32 พร้อมเพิ่ม Hy4-preview กับ Qwen3.8-Flash-Next, เปิด FlashInfer all-reduce เป็นค่าเริ่มต้น และ deprecate คำสั่ง python -m vllm.entrypoints.openai.api_server

· อ่าน 5 นาที
vLLM 0.28 ออกแล้ววันนี้ — 584 คอมมิตจาก 270 คน ยก Kimi-K3 ทั้งสแต็ก เปิด sparse MLA ของ DeepSeek V4 ครบวง แล้วดัน max_num_batched_tokens ขึ้นเท่าตัว
เครื่องมือนักพัฒนา

vLLM 0.28 ออกแล้ววันนี้ — 584 คอมมิตจาก 270 คน ยก Kimi-K3 ทั้งสแต็ก เปิด sparse MLA ของ DeepSeek V4 ครบวง แล้วดัน max_num_batched_tokens ขึ้นเท่าตัว

26 ส.ค. 2026 vLLM ปล่อยเวอร์ชัน 0.28.0 — 584 คอมมิตจากผู้ร่วมพัฒนา 270 คน (หน้าใหม่ 76 คน) เน้นเร่ง Kimi-K3 ทั้งสแต็ก เปิดทาง sparse MLA ของ DeepSeek V4 ให้ใช้ได้ครบทั้ง decode/MTP/spec-decoding เพิ่ม disk offload ให้ KV cache และเปลี่ยนค่าดีฟอลต์ max_num_batched_tokens จาก 8192 เป็น 16384 พร้อม breaking change ที่ย้าย bitsandbytes ออกไปเป็นปลั๊กอินนอกทรี

· อ่าน 7 นาที