แท็ก

#KV-cache

2 บทความ

vLLM 0.28 ออกแล้ววันนี้ — 584 คอมมิตจาก 270 คน ยก Kimi-K3 ทั้งสแต็ก เปิด sparse MLA ของ DeepSeek V4 ครบวง แล้วดัน max_num_batched_tokens ขึ้นเท่าตัว
เครื่องมือนักพัฒนา

vLLM 0.28 ออกแล้ววันนี้ — 584 คอมมิตจาก 270 คน ยก Kimi-K3 ทั้งสแต็ก เปิด sparse MLA ของ DeepSeek V4 ครบวง แล้วดัน max_num_batched_tokens ขึ้นเท่าตัว

26 ส.ค. 2026 vLLM ปล่อยเวอร์ชัน 0.28.0 — 584 คอมมิตจากผู้ร่วมพัฒนา 270 คน (หน้าใหม่ 76 คน) เน้นเร่ง Kimi-K3 ทั้งสแต็ก เปิดทาง sparse MLA ของ DeepSeek V4 ให้ใช้ได้ครบทั้ง decode/MTP/spec-decoding เพิ่ม disk offload ให้ KV cache และเปลี่ยนค่าดีฟอลต์ max_num_batched_tokens จาก 8192 เป็น 16384 พร้อม breaking change ที่ย้าย bitsandbytes ออกไปเป็นปลั๊กอินนอกทรี

· อ่าน 7 นาที
Hugging Face เปิดผลทดสอบ AMD Instinct MI455X ชุดแรก — ผ่าน 99.5% จาก 24 สถาปัตยกรรม Transformers และรับ long-context พร้อมกันได้กว่า 3 เท่าของ MI300
เครื่องมือนักพัฒนา

Hugging Face เปิดผลทดสอบ AMD Instinct MI455X ชุดแรก — ผ่าน 99.5% จาก 24 สถาปัตยกรรม Transformers และรับ long-context พร้อมกันได้กว่า 3 เท่าของ MI300

Hugging Face เผยผลทดสอบ Transformers ชุดแรกบน AMD Instinct MI455X ที่มี HBM4 ขนาด 432GB และแบนด์วิดท์สูงสุด 23.3 TB/s ต่อ GPU หนึ่งใบ — ผ่านราว 99.5% จาก 24 สถาปัตยกรรมหลัก เทียบเท่า MI300 (99.4%) และ NVIDIA A10 (99.1%) พร้อมรับ concurrent request แบบ long-context ได้เกิน 3 เท่าของ MI300 บน Qwen3-32B

· อ่าน 5 นาที