แท็ก

#speculative-decoding

5 บทความ

vLLM 0.29 เปลี่ยนเครื่องยนต์เป็น Model Runner V2 ทุกโมเดล — V1 ถูกประกาศเลิกใช้ ตั้งเป้าลบใน 0.32 และ api_server แบบเดิมถูก deprecate
เครื่องมือนักพัฒนา

vLLM 0.29 เปลี่ยนเครื่องยนต์เป็น Model Runner V2 ทุกโมเดล — V1 ถูกประกาศเลิกใช้ ตั้งเป้าลบใน 0.32 และ api_server แบบเดิมถูก deprecate

vLLM ปล่อย 0.29.0 เมื่อ 9 ก.ย. 2026 (594 คอมมิตจาก 277 คน) โดยใช้ Model Runner V2 เป็นค่าเริ่มต้นกับทุกโมเดล และประกาศว่า V1 เลิกใช้แล้ว ตั้งเป้าลบในเวอร์ชัน 0.32 พร้อมเพิ่ม Hy4-preview กับ Qwen3.8-Flash-Next, เปิด FlashInfer all-reduce เป็นค่าเริ่มต้น และ deprecate คำสั่ง python -m vllm.entrypoints.openai.api_server

· อ่าน 5 นาที
vLLM 0.28 ออกแล้ววันนี้ — 584 คอมมิตจาก 270 คน ยก Kimi-K3 ทั้งสแต็ก เปิด sparse MLA ของ DeepSeek V4 ครบวง แล้วดัน max_num_batched_tokens ขึ้นเท่าตัว
เครื่องมือนักพัฒนา

vLLM 0.28 ออกแล้ววันนี้ — 584 คอมมิตจาก 270 คน ยก Kimi-K3 ทั้งสแต็ก เปิด sparse MLA ของ DeepSeek V4 ครบวง แล้วดัน max_num_batched_tokens ขึ้นเท่าตัว

26 ส.ค. 2026 vLLM ปล่อยเวอร์ชัน 0.28.0 — 584 คอมมิตจากผู้ร่วมพัฒนา 270 คน (หน้าใหม่ 76 คน) เน้นเร่ง Kimi-K3 ทั้งสแต็ก เปิดทาง sparse MLA ของ DeepSeek V4 ให้ใช้ได้ครบทั้ง decode/MTP/spec-decoding เพิ่ม disk offload ให้ KV cache และเปลี่ยนค่าดีฟอลต์ max_num_batched_tokens จาก 8192 เป็น 16384 พร้อม breaking change ที่ย้าย bitsandbytes ออกไปเป็นปลั๊กอินนอกทรี

· อ่าน 7 นาที
NVIDIA ปล่อย Nemotron 3.5 Lightning — MoE 30B active 3B ใบอนุญาต OpenMDW context 1M เร็วเกือบ 670 โทเคน/วินาที
โมเดลใหม่

NVIDIA ปล่อย Nemotron 3.5 Lightning — MoE 30B active 3B ใบอนุญาต OpenMDW context 1M เร็วเกือบ 670 โทเคน/วินาที

11 ส.ค. 2026 NVIDIA เปิดตัว Nemotron 3.5 Lightning โมเดลเปิดตัวแรกของตระกูล 3.5 — hybrid Mamba-2 + MoE ขนาด 30B แต่ activate แค่ 3B, context 1 ล้านโทเคน, ใบอนุญาต OpenMDW-1.1 และทำความเร็วได้เกือบ 670 โทเคน/วินาที เทียบชั้นความฉลาดกับ gpt-oss-120b ที่ใหญ่กว่าราวสี่เท่า

· อ่าน 7 นาที
NVIDIA เปิด Nemotron-Labs-Diffusion โมเดลเปิดที่รันได้ 3 โหมดในตัวเดียว — AR, diffusion และ self-speculation
โมเดลใหม่

NVIDIA เปิด Nemotron-Labs-Diffusion โมเดลเปิดที่รันได้ 3 โหมดในตัวเดียว — AR, diffusion และ self-speculation

NVIDIA ปล่อยงานวิจัยและน้ำหนักโมเดล Nemotron-Labs-Diffusion (3B/8B/14B) โมเดลภาษาแบบเปิดที่ใช้น้ำหนักชุดเดียวรันได้ทั้งแบบ autoregressive, diffusion และ self-speculation — โดยตัวมันเองทำหน้าที่เป็น draft model ให้ตัวเองเพื่อเร่งความเร็ว โดยไม่ต้องมีโมเดลเสริม

· อ่าน 6 นาที
Google Developers Blog: DFlash บน TPU v5p เร่ง LLM inference 3.13x ค่าเฉลี่ย — peak ~6x สำหรับงาน math — UCSD พอร์ต block-diffusion speculative decoding ลง vLLM TPU stack
เครื่องมือนักพัฒนา

Google Developers Blog: DFlash บน TPU v5p เร่ง LLM inference 3.13x ค่าเฉลี่ย — peak ~6x สำหรับงาน math — UCSD พอร์ต block-diffusion speculative decoding ลง vLLM TPU stack

4 พ.ค. — Google Developers Blog ลง deep dive จากทีม UCSD Hao AI Lab ที่พอร์ต DFlash (block-diffusion speculative decoding) จาก GPU/PyTorch มาวิ่งบน Google TPU v5p ผ่าน vLLM TPU + JAX — ผลคือ 3.13x throughput เฉลี่ย ขึ้นถึง ~6x สำหรับ workload คณิต — เป็นอีกหนึ่ง signal ว่า inference economics กำลังเลื่อนจาก GPU-centric ไป hardware-aware spec-decode

· อ่าน 5 นาที