ข้ามไปยังเนื้อหา

แท็ก

#DeepInfer

1 บทความ

DeepSeek เปิดซอร์ส DeepInfer เอนจินที่รัน API จริงของตัวเอง (Apache-2.0) — รองรับแค่ V4.1-Flash บน Blackwell SM100 กับ Huawei Ascend 950 และตัดชิ้นส่วนสำคัญอย่าง KV cache และ load balancer ออก
เครื่องมือนักพัฒนา

DeepSeek เปิดซอร์ส DeepInfer เอนจินที่รัน API จริงของตัวเอง (Apache-2.0) — รองรับแค่ V4.1-Flash บน Blackwell SM100 กับ Huawei Ascend 950 และตัดชิ้นส่วนสำคัญอย่าง KV cache และ load balancer ออก

DeepSeek ปล่อย DeepInfer ภายใต้ Apache-2.0 เมื่อ 20 ต.ค. 2026 บอกว่าเป็นเฟรมเวิร์กเดียวกับที่ใช้ให้บริการ V4.1-Flash จริง (155 ล้านล้านโทเคนต่อวันต่อคลัสเตอร์) แต่รุ่นที่เปิดออกมาทำได้แค่ offline inference รองรับโมเดลเดียว ต้องใช้ GPU ตระกูล SM100 หรือ Ascend 950 และไม่มี KV cache store, การแยก prefill/decode กับ load balancer ซึ่งจำเป็นต่อการเปิดเป็นบริการ

· อ่าน 5 นาที