แท็ก

#serving

8 บทความ

SGLang 0.5.22 ออกแล้ว — ตัด Python 3.10 แบบเงียบ ๆ, `--enable-dp-attention` ถูกแทนด้วย `--attn-dp-size`, รันบน Mac ได้ด้วย PyTorch และโหลดโมเดลเร็วขึ้น 10 เท่า
เครื่องมือนักพัฒนา

SGLang 0.5.22 ออกแล้ว — ตัด Python 3.10 แบบเงียบ ๆ, `--enable-dp-attention` ถูกแทนด้วย `--attn-dp-size`, รันบน Mac ได้ด้วย PyTorch และโหลดโมเดลเร็วขึ้น 10 เท่า

SGLang 0.5.22 ออกเมื่อ 19 ต.ค. 2026 (950 PR จาก 245 คน) ต้องใช้ Python 3.11 ขึ้นไป โดยบน 3.10 `pip install` จะไม่ error แต่จะได้เวอร์ชันเก่ามาแทน มี flag และ environment variable หลายตัวที่เปลี่ยนความหมาย ส่วนของใหม่คือรันบน Apple Silicon ด้วย PyTorch ได้, InstantTensor loader ที่โหลด DeepSeek-R1 ใน 15 วินาทีแทน 160 วินาที และ DeepSeek-V4.1 ได้ throughput ต่อ GPU บน H200 เพิ่มสูงสุด 2.3 เท่า

· อ่าน 4 นาที
vLLM 0.32 ออกแล้ว — CORS ไม่เปิดให้ทุก origin อีกต่อไป, ตัด Python 3.10, `max_tokens` เลิกกินพื้นที่ context, `/v1/systemone` เปิดเป็นค่าเริ่มต้น และ NVFP4 KV cache ลงมาถึง RTX/Ampere
เครื่องมือนักพัฒนา

vLLM 0.32 ออกแล้ว — CORS ไม่เปิดให้ทุก origin อีกต่อไป, ตัด Python 3.10, `max_tokens` เลิกกินพื้นที่ context, `/v1/systemone` เปิดเป็นค่าเริ่มต้น และ NVFP4 KV cache ลงมาถึง RTX/Ampere

vLLM 0.32.0 ออกเมื่อ 18 ต.ค. 2026 (814 คอมมิตจาก 363 คน) มี breaking change ที่ต้องอ่านก่อนอัปเกรด ได้แก่ CORS ไม่อนุญาตทุก origin เป็นค่าเริ่มต้นอีกต่อไป ต้องการ Python 3.11 ขึ้นไป `max_tokens` ไม่ถูกหักจาก context window แล้ว และชื่อ event reasoning ของ Responses API เปลี่ยน พร้อมแพตช์ช่องโหว่สามรายการ ส่วน endpoint ตัดสินใจ `/v1/systemone` เปิดให้ใช้เป็นค่าเริ่มต้น

· อ่าน 5 นาที
vLLM 0.31 ออกแล้ว — ใช้ `vllm preload` คำสั่งเดียวก็เก็บน้ำหนักค้างบน GPU ได้, snapshot ทั้ง engine ด้วย CRIU ลดเวลาเปิดจาก 54.7 เหลือ 20.4 วินาที และ endpoint สาธารณะปลอดภัยขึ้นเพราะปฏิเสธ multimodal kwargs ที่ส่งมากับคำขอเป็นค่าเริ่มต้น
เครื่องมือนักพัฒนา

vLLM 0.31 ออกแล้ว — ใช้ `vllm preload` คำสั่งเดียวก็เก็บน้ำหนักค้างบน GPU ได้, snapshot ทั้ง engine ด้วย CRIU ลดเวลาเปิดจาก 54.7 เหลือ 20.4 วินาที และ endpoint สาธารณะปลอดภัยขึ้นเพราะปฏิเสธ multimodal kwargs ที่ส่งมากับคำขอเป็นค่าเริ่มต้น

vLLM ปล่อย 0.31.0 เมื่อ 5 ต.ค. 2026 (717 คอมมิตจาก 307 คน) Fast Start ที่มาใน 0.30 กลายเป็นคำสั่ง `vllm preload` คำสั่งเดียว มี snapshot engine แบบทดลองที่ใช้ CRIU ซึ่งลดเวลาเปิด Qwen3-32B บน H100 ลง 62.7% และมี breaking change ด้านความปลอดภัยคือ endpoint ปฏิเสธ `mm_processor_kwargs` กับ `media_io_kwargs` ที่ส่งมากับคำขอเป็นค่าเริ่มต้น

· อ่าน 5 นาที
vLLM 0.30 ออกแล้ว — Fast Start เก็บน้ำหนักค้างไว้บน GPU ให้รีสตาร์ต engine ได้โดยไม่ต้องโหลดจากดิสก์, มีระบบลายน้ำ Gumbel-max ในตัว และมี breaking change ที่ต้องเช็กก่อนอัปเกรด
เครื่องมือนักพัฒนา

vLLM 0.30 ออกแล้ว — Fast Start เก็บน้ำหนักค้างไว้บน GPU ให้รีสตาร์ต engine ได้โดยไม่ต้องโหลดจากดิสก์, มีระบบลายน้ำ Gumbel-max ในตัว และมี breaking change ที่ต้องเช็กก่อนอัปเกรด

vLLM ปล่อย 0.30.0 เมื่อ 22 ก.ย. 2026 (762 คอมมิตจาก 315 คน) ฟีเจอร์หลักคือ Fast Start ที่ใช้ daemon เก็บน้ำหนักที่ quantize และแบ่ง TP แล้วไว้บน GPU ให้ engine ที่รีสตาร์ตแมปผ่าน CUDA IPC ได้เลย, ระบบลายน้ำข้อความแบบ Gumbel-max พร้อมตัวตรวจ, HiSparse ที่ย้าย KV ไปพักใน host memory และโมเดลใหม่อย่าง DeepSeek-V4.1-Flash กับ GLM-5.3-Flash ส่วน breaking change มีทั้ง --enable-scale-out, การถอด GPTQ g_idx และการเปลี่ยนพฤติกรรม YaRN

· อ่าน 5 นาที
vLLM 0.29 เปลี่ยนเครื่องยนต์เป็น Model Runner V2 ทุกโมเดล — V1 ถูกประกาศเลิกใช้ ตั้งเป้าลบใน 0.32 และ api_server แบบเดิมถูก deprecate
เครื่องมือนักพัฒนา

vLLM 0.29 เปลี่ยนเครื่องยนต์เป็น Model Runner V2 ทุกโมเดล — V1 ถูกประกาศเลิกใช้ ตั้งเป้าลบใน 0.32 และ api_server แบบเดิมถูก deprecate

vLLM ปล่อย 0.29.0 เมื่อ 9 ก.ย. 2026 (594 คอมมิตจาก 277 คน) โดยใช้ Model Runner V2 เป็นค่าเริ่มต้นกับทุกโมเดล และประกาศว่า V1 เลิกใช้แล้ว ตั้งเป้าลบในเวอร์ชัน 0.32 พร้อมเพิ่ม Hy4-preview กับ Qwen3.8-Flash-Next, เปิด FlashInfer all-reduce เป็นค่าเริ่มต้น และ deprecate คำสั่ง python -m vllm.entrypoints.openai.api_server

· อ่าน 5 นาที
vLLM 0.28 ออกแล้ววันนี้ — 584 คอมมิตจาก 270 คน ยก Kimi-K3 ทั้งสแต็ก เปิด sparse MLA ของ DeepSeek V4 ครบวง แล้วดัน max_num_batched_tokens ขึ้นเท่าตัว
เครื่องมือนักพัฒนา

vLLM 0.28 ออกแล้ววันนี้ — 584 คอมมิตจาก 270 คน ยก Kimi-K3 ทั้งสแต็ก เปิด sparse MLA ของ DeepSeek V4 ครบวง แล้วดัน max_num_batched_tokens ขึ้นเท่าตัว

26 ส.ค. 2026 vLLM ปล่อยเวอร์ชัน 0.28.0 — 584 คอมมิตจากผู้ร่วมพัฒนา 270 คน (หน้าใหม่ 76 คน) เน้นเร่ง Kimi-K3 ทั้งสแต็ก เปิดทาง sparse MLA ของ DeepSeek V4 ให้ใช้ได้ครบทั้ง decode/MTP/spec-decoding เพิ่ม disk offload ให้ KV cache และเปลี่ยนค่าดีฟอลต์ max_num_batched_tokens จาก 8192 เป็น 16384 พร้อม breaking change ที่ย้าย bitsandbytes ออกไปเป็นปลั๊กอินนอกทรี

· อ่าน 7 นาที
vLLM v0.26.0 ออกแล้ว — 411 commit จาก 212 คน: เลือก attention backend แยกต่อ KV-cache group ได้ และ KV offloading ขึ้นชั้น object store เต็มตัว
เครื่องมือนักพัฒนา

vLLM v0.26.0 ออกแล้ว — 411 commit จาก 212 คน: เลือก attention backend แยกต่อ KV-cache group ได้ และ KV offloading ขึ้นชั้น object store เต็มตัว

vLLM ปล่อยเวอร์ชัน 0.26.0 (27 ก.ค. 2026) รวม 411 commit จากผู้ร่วมพัฒนา 212 คน — รองรับตระกูล Inkling เต็มสแตก, เร่ง DeepSeek-V4 หลายจุด, เลือก attention backend แยกรายกลุ่ม KV cache ได้เพื่อรองรับโมเดล hybrid และผลัก KV offloading ไปถึงชั้น object store พร้อมเมตริกครบ

· อ่าน 6 นาที
vLLM ปล่อย AFD Plugin — แยก Attention กับ FFN ออกจากกันเพื่อเสิร์ฟโมเดล MoE ใหญ่ ๆ ให้คุ้มการ์ดขึ้น
เครื่องมือนักพัฒนา

vLLM ปล่อย AFD Plugin — แยก Attention กับ FFN ออกจากกันเพื่อเสิร์ฟโมเดล MoE ใหญ่ ๆ ให้คุ้มการ์ดขึ้น

vLLM เปิดปลั๊กอินทดลอง AFD (Attention-FFN Disaggregation) แยกส่วน attention กับ expert/FFN ออกไปรันเป็นบริการคนละก้อน สเกลอิสระต่อกัน — บน DeepSeek-V3.2 ทำ throughput เพิ่ม ~9–11% และลด TTFT จาก 15.1 เหลือ 8.0 วินาที รองรับทั้ง NVIDIA GPU และ Ascend NPU

· อ่าน 5 นาที