DeepSeek เปิดซอร์ส DeepInfer เอนจินที่รัน API จริงของตัวเอง (Apache-2.0) — รองรับแค่ V4.1-Flash บน Blackwell SM100 กับ Huawei Ascend 950 และตัดชิ้นส่วนสำคัญอย่าง KV cache และ load balancer ออก

DeepSeek เปิดรีโป DeepInfer บน GitHub เมื่อวันที่ 20 ต.ค. 2026 (initial commit 04:09 UTC) ภายใต้ Apache-2.0 README อธิบายว่าเป็น “เฟรมเวิร์ก inference ประสิทธิภาพสูงที่ขับเคลื่อนบริการขนาดใหญ่ของ DeepSeek” ส่วนเอกสาร Q&A ภาษาจีนที่ใส่มาในรีโปให้ตัวเลขฝั่ง production ไว้ว่า คลัสเตอร์เดียวให้บริการ 155 ล้านล้านโทเคนต่อวัน และทำรายได้รวม 38 ดอลลาร์ต่อการ์ดต่อชั่วโมง (คิดที่ราคาช่วง off-peak) รีโปขึ้นหน้าแรก Hacker News ภายในไม่กี่ชั่วโมงและได้ดาวเกือบ 5,000 ดวงในวันแรก

ก่อนจะคิดว่าได้ “vLLM ฉบับ DeepSeek” มาใช้ ต้องรู้ข้อจำกัดก่อน รุ่นที่เปิดออกมาเป็น offline inference เท่านั้น (entrypoint มีแค่ llm.py ไม่มี HTTP server) รองรับโมเดลเดียวคือ DeepSeek-V4.1-Flash (ค่าเริ่มต้นดึงน้ำหนัก V4.1-Flash-1017) และรันได้บนสองแพลตฟอร์มคือ NVIDIA SM100 กับ Huawei Ascend 950 ส่วนชิ้นที่ทำให้มันเป็นบริการได้จริง ได้แก่ระบบ KV cache, การแยก Vision-Encoder/Prefill/Decode และ load balancer ระหว่าง data-parallel replica นั้น README เขียนไว้ตรง ๆ ว่า ไม่อยู่ใน release นี้

ในรีโปมีอะไรบ้าง

• เคอร์เนล: รวม FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect ไว้เป็น vendor submodule (มีเวอร์ชัน Ascend ของ DeepEP/DeepGEMM ด้วย) พร้อมเคอร์เนล TileLang ที่เขียนเพิ่ม
• Parallelism: Attention DP / balanced CP และ MoE แบบ expert parallel พร้อม EPLB (การกระจายโหลดระหว่าง expert)
• DSpark + confidence-scheduled verification: ใช้ draft token เร่ง decode โดยมี Confidence Head ประเมินว่า draft แต่ละตัวมีโอกาสผ่านแค่ไหน แล้วตรวจเฉพาะส่วนที่คุ้ม Q&A รายงานว่าวิธีนี้ลดจำนวน draft token ที่ต้องตรวจต่อสเต็ปลงราว 30% (จาก 5.00 เหลือ 3.2–4.4) โดยความยาวที่ผ่านเฉลี่ยแทบเท่าเดิม (3.29 เทียบ 3.20) คิดเป็น throughput เพิ่ม 4–7% ที่จุดใช้งานจริง ซึ่งน้อยกว่าที่ชื่อฟีเจอร์ชวนให้คาด
• SWA Bounded Replay: เมื่อ cache ของ sliding-window attention หาย ระบบจะคำนวณใหม่เฉพาะ 128 โทเคนท้ายแทนการ prefill ใหม่ทั้งหมด ต้นทุนจึงคงที่ไม่ว่าคอนเท็กซ์จะยาวแค่ไหน และที่ฝั่ง decoder ช่วยลดงาน prefill ได้ “เกือบครึ่ง”
• Batch-invariant inference และ deterministic sampling: ผลลัพธ์ไม่เปลี่ยนตามว่าคำขออยู่ใน batch กับใคร เปิดด้วย DEEPINFER_BATCH_INVARIANT=1 (เฉพาะ NVIDIA) ฟีเจอร์นี้มีประโยชน์มากกับงาน eval และงาน regression test ของ agent
• Structured outputs: บังคับเอาต์พุตตาม regex, JSON schema หรือ EBNF

README ยอมรับไว้ในส่วน Acknowledgments ว่า DeepInfer “เดิมสร้างบน vLLM เป็นหลัก” และได้แรงบันดาลใจจาก SGLang กับ TensorRT-LLM ร่องรอยนี้ยังเห็นได้ใน Q&A ที่ยังมีชื่อตัวแปรอย่าง VLLM_YOCO_PREFILL_KEEP_TOKENS หลงเหลืออยู่

ตัวเลขประสิทธิภาพ และข้อควรระวังเวลาอ่าน

กราฟใน README วัดบน GPU SM100 4 ใบสำหรับ prefill และ 64 ใบสำหรับ decode ที่คอนเท็กซ์ 131,072 โทเคน

• Prefill (EP4DP4): ประมาณ 60,000 โทเคน/วินาที/GPU ที่ batch 4,096 โทเคน (ราว 68 ms ต่อสเต็ป) ขึ้นไปถึงราว 89,000 ที่ batch 65,536 (ราว 730 ms)
• Decode (EP64DP64): ราว 26,000 โทเคน/วินาที/GPU เมื่อแต่ละ rank รับ 256 คำขอ (ผู้ใช้แต่ละคนได้ราว 100 โทเคน/วินาที) และราว 15,700 เมื่อรับ 64 คำขอ (ราว 245 โทเคน/วินาทีต่อผู้ใช้)

แต่หัวกราฟ decode เขียนไว้ว่า “nextn=3 fixed | per-token acceptance 75% → τ=3.25” หมายความว่าอัตราการรับ draft เป็นค่าที่สมมติไว้ ไม่ใช่ค่าที่วัดจาก traffic จริง และเอกสาร examples/README.md บอกว่าตัว benchmark เองคิด decode throughput แบบ “full-acceptance accounting” คือนับ 1 + nextn โทเคนต่อสเต็ปโดยไม่สนว่ารับจริงกี่ตัว ถ้าจะเอาตัวเลขนี้ไปเทียบกับ vLLM หรือ SGLang ต้องรันด้วยข้อมูลของตัวเองก่อน

ส่วนผล eval ที่ให้มาเป็น “sanity check” สำหรับคนที่รันเองนั้น eval/README.md ระบุ Pass@1 ไว้ที่ AIME 2026 99.9%, GPQA Diamond 93.4% และ HLE-Full 42.6% โดยค่าเริ่มต้นใช้โมเดลอีกตัวเป็นกรรมการ (LLM judge) ไม่ได้ตรวจด้วยกฎตายตัว

สิ่งที่ Q&A เล่าเกี่ยวกับระบบ production

เอกสาร Q&A ยาวราว 24,000 ตัวอักษรเล่าโครงสร้างที่ DeepSeek ใช้จริงไว้ละเอียดกว่าตัวโค้ด

• ขนาดหน่วยติดตั้งขั้นต่ำที่คุ้ม คือ prefill 64 การ์ดกับ decode 64 การ์ด (ทั้งคู่ใช้สัดส่วนราว 1:1) decode แนะนำ EP64–128 แบบ Wide-EP ส่วน vision encoder ใช้การ์ดเดียวและ “แนะนำให้ใช้การ์ดราคาถูก”
• KV cache เก็บบน SSD ผ่านระบบไฟล์ 3FS ขนาดราว 100 PiB ใช้ erasure coding แบบ 10+2 cache ของงาน agent มีอายุ 3 วัน ส่วนงาน chatbot อยู่ได้ 7 วัน (สอดคล้องกับเป้าหมาย “เก็บ KVCache ได้นานกว่า 72 ชั่วโมง”) โดยอ้างว่าถ้าลด TTL ของ chatbot เหลือ 3 วัน hit rate จะลดลง 0.5–1%
• ความแม่นยำต่ำ: Main KV ใช้ FP4 (e4m3, scale ต่อ 16 ค่า) ส่วน Indexer K และ routed expert ใช้ MXFP4
• ความต่างจากเวอร์ชันภายใน: DeepSeek ยอมรับว่า FlashMLA ที่เปิดออกมาขาดการแก้ SASS ด้วยมือไปหนึ่งจุด ทำให้ decoding kernel ช้ากว่าราว 5–10% แต่ end-to-end ต่างกันไม่เกิน 5% และ draft model ที่ใช้ภายใน “ใหม่กว่าเล็กน้อย”
• ส่วน KV cache store และ load balancer ยังไม่เปิด เพราะ “ผูกกับโครงสร้างพื้นฐานภายในมาก” แต่สัญญาว่าโค้ด inference ของโมเดลรุ่นถัดไปจะเปิดผ่าน DeepInfer ต่อ

มุมมอง AI Curator

ตัวโค้ดสำคัญน้อยกว่าสิ่งที่ release นี้บอกเรื่องฮาร์ดแวร์ DeepSeek เลือกให้ Huawei Ascend 950 เป็น target หลักเทียบเท่า Blackwell ตั้งแต่วันแรก พร้อม DeepEP/DeepGEMM เวอร์ชัน Ascend ที่ทยอยเปิดมาตั้งแต่ปลายเดือนกันยายน ขณะที่ Hopper (H100/H200) ไม่อยู่ในรายการรองรับเลย ทั้งที่ผู้ให้บริการในไทยและอาเซียนที่ซื้อ GPU ในช่วงสองปีนี้ส่วนใหญ่มี H100/H200 อยู่ คนที่โฮสต์ V4.1-Flash บน H200 ยังต้องใช้ SGLang หรือ vLLM ต่อไป DeepInfer ไม่ได้แทนที่ทางเลือกนั้นสำหรับคนกลุ่มนี้

สำหรับผู้ให้บริการ GPU cloud ในภูมิภาคที่กำลังวางแผนซื้อฮาร์ดแวร์ เอกสารนี้มีค่ามากกว่าตัวโค้ด เพราะให้ทั้งสูตรติดตั้ง (64P+64D), สเปก storage (SSD 20 × 30.73 TB ต่อเซิร์ฟเวอร์, อ่าน 40 GB/s) และตัวเลขรายได้ $38 ต่อการ์ดต่อชั่วโมง ซึ่งพอจะใช้คำนวณได้ว่าการขายโมเดลเปิดราคาถูกแบบ DeepSeek คุ้มหรือไม่ แต่ต้องจำไว้ว่าตัวเลขนั้นมาจากระบบที่มี KV cache 100 PiB และ load balancer ที่ DeepSeek ไม่ได้ให้มา การตั้งระบบตามแค่โค้ดที่เปิดจะได้ไม่ถึงตัวเลขนั้น และ Q&A เองก็บอกว่าแม้มี load balancer ระบบจริงยังได้แค่ราว 80% ของ benchmark offline

ฟีเจอร์ที่นักพัฒนาทั่วไปน่าจะได้ใช้ก่อนคือ batch-invariant inference เพราะปัญหา “รันซ้ำแล้วได้คำตอบไม่เหมือนเดิม” ทำให้การ eval agent และ regression test ยากมาตลอด การที่ผู้ให้บริการรายใหญ่ทำให้มันเป็นฟีเจอร์ที่เปิดด้วยตัวแปรเดียวน่าจะทำให้ vLLM และ SGLang ต้องทำตามในไม่ช้า

แหล่งข่าว

• deepseek-ai/DeepInfer — README (GitHub, 20 ต.ค. 2026)
• DeepSeek V4.1 Flash 推理部署 Q&A (PDF ในรีโป)
• DeepInfer — eval/README.md (Reference results)
• DeepInfer — examples/README.md (วิธีคิดตัวเลข benchmark)