เครื่องมือนักพัฒนา
vLLM ปล่อย AFD Plugin — แยก Attention กับ FFN ออกจากกันเพื่อเสิร์ฟโมเดล MoE ใหญ่ ๆ ให้คุ้มการ์ดขึ้น
vLLM เปิดปลั๊กอินทดลอง AFD (Attention-FFN Disaggregation) แยกส่วน attention กับ expert/FFN ออกไปรันเป็นบริการคนละก้อน สเกลอิสระต่อกัน — บน DeepSeek-V3.2 ทำ throughput เพิ่ม ~9–11% และลด TTFT จาก 15.1 เหลือ 8.0 วินาที รองรับทั้ง NVIDIA GPU และ Ascend NPU
· อ่าน 5 นาที