แท็ก
4 บทความ
22 ส.ค. 2026 โพสต์ทดลองบน Level1Techs วัด logit เต็ม vocabulary ของ Qwen3.6-27B บน RTX PRO 6000 พบว่าแค่สลับ attention backend ใน vLLM โดยไม่แตะอย่างอื่น โทเคนที่โมเดลจะเลือกก็ต่างกันแล้ว ส่วน KV cache แบบ int4 กับ NVFP4 ทำ tool call พังจริงและสั่งคำสั่ง Cisco ผิด โดย NVFP4 แตะ ~50% token flip ที่ context 88k
Cloudflare เผยเทคนิคสามชั้นที่ใช้เสิร์ฟ Kimi K2.6 และ GLM 5.2 บน Workers AI — บีบ KV cache เป็น FP8 เพิ่ม context ที่ค้างในหน่วยความจำได้เท่าตัว, บีบน้ำหนัก GLM เป็น INT4 ลดเช็คพอยต์ 40% และเพิ่ม decode สูงสุด 55% พร้อมตารางเบนช์มาร์กที่บอกว่าความแม่นยำไม่ตก
vLLM ปล่อยเวอร์ชัน 0.26.0 (27 ก.ค. 2026) รวม 411 commit จากผู้ร่วมพัฒนา 212 คน — รองรับตระกูล Inkling เต็มสแตก, เร่ง DeepSeek-V4 หลายจุด, เลือก attention backend แยกรายกลุ่ม KV cache ได้เพื่อรองรับโมเดล hybrid และผลัก KV offloading ไปถึงชั้น object store พร้อมเมตริกครบ
vLLM ปล่อยเวอร์ชัน 0.22.0 ยกเครื่องการรองรับ DeepSeek V4 เป็นแพ็กเกจเฉพาะ เพิ่ม NVFP4 fused MoE บน Blackwell, MTP speculative decoding และ KV cache offloading หลายชั้น รวม 459 commit จาก 230 ผู้ร่วมพัฒนา