DeepSeek-V4.1-Flash 763B รันบนการ์ดจอ 12GB ได้แล้ว: IST DASLab ปล่อย GGUF 1.75–2.25 บิต และ Strata ใส่เข้าแอปคลิกเดียว — RTX 3060 ได้ 9–11 tok/s แต่ต้องมี RAM 40GB ขึ้นไป ดิสก์ 239–274GB และคอนเท็กซ์ 8K

DeepSeek-V4.1-Flash-1017 เป็นโมเดล MoE ใต้ไลเซนส์ MIT ขนาด 763B พารามิเตอร์ (เราเขียนถึงตอนออกเมื่อ 17 ต.ค.) ตอนนี้รันบนพีซีที่มีการ์ดจอ 12GB ได้แล้ว เมื่อ 23 ต.ค. 2026 ทีม DASLab ของ Institute of Science and Technology Austria (ISTA) ทีมเดียวกับที่ทำ GPTQ อัปโหลด GGUF ความแม่นยำผสมสามขนาด ขึ้น Hugging Face คือ 1.75, 2.00 และ 2.25 บิตต่อน้ำหนัก ต่อมาวันที่ 24–25 ต.ค. Strata ตัวติดตั้งคลิกเดียวที่ดังจากการรัน Qwen3.8-Flash-Next บนการ์ดเกมมิ่ง ก็รองรับไฟล์ชุดนี้ในเวอร์ชัน 0.2.4 (Terminal) และ 0.2.5 (แอปเดสก์ท็อป)

สำหรับนักพัฒนา ข่าวนี้แปลว่าโมเดลเปิดระดับ frontier ที่ DeepSeek ขายผ่าน API ราคา $0.15 / $0.60 ต่อล้านโทเคน รันบนเครื่องตัวเองได้โดยไม่ต้องใช้เซิร์ฟเวอร์ GPU หลายใบ แต่ยังมีข้อจำกัดชัดเจนสามข้อ คือ ต้องมี RAM เยอะ ต้องมีดิสก์เหลือหลายร้อย GB และคอนเท็กซ์ที่ทดสอบแล้วมีแค่ 8K โทเคน

ทำไมโมเดล 763B ถึงลงการ์ด 12GB ได้

DASLab ใช้สองเทคนิคที่ตีพิมพ์ไว้ก่อนหน้า ตัวแรกคือ GSQ (Gumbel-Softmax Quantization, arXiv 2604.18556) ใช้ควอนไทซ์แต่ละ tensor ให้แม่นที่ 2–3 บิต โดยผลลัพธ์ยังเป็นฟอร์แมต scalar ปกติของ GGUF ตัวที่สองคือ RCO (arXiv 2605.00649) ทำหน้าที่เลือกชนิดควอนต์ให้ทีละ tensor ภายใต้งบขนาดไฟล์ที่กำหนดด้วย gradient แทนการใช้ชนิดเดียวทั้งโมเดล ส่วน dense (attention, shared expert, embedding) ได้ Q5_K ถึง Q8_0 ส่วน routed expert 384 ตัวต่อเลเยอร์ซึ่งกินพารามิเตอร์เกือบทั้งหมดได้ IQ1_S ถึง IQ3_S ไฟล์ tensor-allocation/*.rco-allocation.txt บอกชนิดที่ tensor แต่ละตัวทั้ง 1,008 ตัวได้รับ

ชุด	bpw	backbone	รวมตาราง Engram	ดิสก์ทั้งหมดใน Strata*
IQ1_M	1.75	120.72 GB	231.32 GB	239 GB
IQ2_XXS (แนะนำ)	2.00	138.24 GB	248.84 GB	257 GB
IQ2_XS	2.25	155.23 GB	265.83 GB	274 GB

*รวมไฟล์ Engram 110.6 GB (ใช้ร่วมกันทุกชุด โหลดครั้งเดียว) และ DSpark drafter 8 GB

สถาปัตยกรรมของ V4.1 เองก็ช่วยด้วย ตาราง Engram สองตาราง (196.6B พารามิเตอร์ เก็บที่ IQ4_NL) เป็นตาราง lookup ที่อ่านแค่ไม่กี่แถวต่อโทเคน จึง memory-map ไว้บน SSD ได้โดยไม่ต้องโหลดเข้า RAM หรือ VRAM ส่วน Strata ใช้เอนจินของตัวเองชื่อ strata-dsv41 (port มาจาก maya-ds4 ของ Project Maya, MIT) ซึ่งเก็บน้ำหนัก dense ราว 16.8 GB ไว้บนการ์ด ใส่ expert ลง VRAM เท่าที่ใส่ได้ แล้วคำนวณ expert ที่เหลือบน CPU โดยอ่านจากไฟล์โดยตรง

ตัวเลข: ฝั่งการ์ดโมเดลกับฝั่ง Strata บอกต่างกัน

การ์ดของ DASLab วัดที่ reasoning effort 50 ได้ผลดังนี้

ชุด	AIME25	GPQA-D	LCB v6	เฉลี่ย	recovery
ต้นฉบับ (FP8/FP4)	100.00	90.91	89.71	93.54	100%
IQ1_M (1.75)	100.00	88.38	88.57	92.32	98.7%
IQ2_XXS (2.00)	100.00	90.91	89.71	93.54	100.0%
IQ2_XS (2.25)	100.00	90.40	89.71	93.37	99.8%

แต่เอกสาร DeepSeek ของ Strata ซึ่งวัดกับไฟล์ชุดเดียวกันที่ 4,995 ตำแหน่งให้ภาพที่ต่างออกไป รุ่น 2.00 บิตมี KL 0.170 และ perplexity สูงขึ้น 15.5% (งานโค้ด +8.6%, งาน agent +5.3%) รุ่น 2.25 บิตมี perplexity +7.3% ส่วน IQ1_M มี perplexity +21% และสำหรับร้อยแก้วภาษาอังกฤษสูงขึ้นถึง +53% ตัวเลขสองชุดนี้ไม่ได้ขัดกันเสียทีเดียว benchmark สามตัวที่การ์ดเลือกมาใช้เป็นงานคณิต วิทย์ และโค้ดที่วัดแค่คำตอบสุดท้าย AIME25 ของต้นฉบับได้ 100 เต็มอยู่แล้วและมีแค่ 30 ข้อ จึงแทบไม่ช่วยแยกความต่าง ส่วน perplexity จับความเพี้ยนระดับโทเคนที่ benchmark เหล่านี้มองไม่เห็น

ความเร็วตาม README ของ Strata (ชุด 2.00 บิต, Strata 0.2.5)

เครื่อง	ตอบ (decode)	อ่าน prompt
RTX 5070 12GB + RAM 64GB	4–6 tok/s	~110 tok/s (4K)
RTX 3060 12GB + RAM 46GB	9–11 tok/s	~155 tok/s (4K)
Radeon AI PRO R9700 1 ใบ + RAM 251GB	21–25 tok/s	320–360 tok/s (8K)
R9700 4 ใบ	74–77 tok/s	400–450 tok/s (8K)

ตัวเลขที่ RTX 3060 เร็วกว่า RTX 5070 เกือบเท่าตัวดูแปลก และเอกสารไม่ได้อธิบายสาเหตุ ส่วนที่บอกไว้คือเครื่อง 5070 ใช้ NVMe ความเร็ว 3.6 GB/s และ expert ที่ไม่อยู่ใน RAM จะถูกอ่านจาก SSD ระหว่างตอบ ความเร็วจึงขึ้นกับ RAM และดิสก์มากพอ ๆ กับการ์ดจอ อีกเรื่องที่ควรรู้คือ ตั้งแต่ 0.2.5 เป็นต้นมา บนการ์ดที่มี VRAM รวม 16GB หรือน้อยกว่า Strata จะเปิดโหมด Faster เป็นค่าเริ่มต้น โหมดนี้ใช้ expert แค่ 5 จาก 6 ตัวต่อโทเคน และ release note บอกว่าบน RTX 5070 ตอบได้เร็วขึ้น 16% ถ้าต้องการพฤติกรรมตามต้นฉบับต้องสั่ง --full-quality เอง

ข้อจำกัดที่ต้องรู้ก่อนโหลด 257GB

• llama.cpp รันไม่ได้ การ์ดเขียนไว้ว่า “As of October 23, 2026, llama.cpp does not support DeepSeek-V4.1” ตอนนี้จึงใช้ได้กับ Strata เท่านั้น และคำสั่ง llama.cpp ในการ์ดยังใช้ไม่ได้จนกว่า upstream จะรองรับ
• คอนเท็กซ์ 8K Strata ตั้งค่าเริ่มต้นไว้ที่ 8,192 โทเคนเพราะ “the size it was checked at” ถึงโมเดลต้นฉบับจะรองรับ 1M ก็ตาม ขยายได้ด้วย --context แต่ยังไม่มีการทดสอบ
• RAM น้อยกว่า ~40GB ยังไม่ได้ทดสอบ และเอกสารบอกว่า “slow” Strata ยังให้ติดตั้งได้ แต่จะเตือนก่อน
• ยังไม่รองรับหลาย request พร้อมกันและรูปภาพ (--parallel กับ --vision จะถูกข้าม) แม้ DASLab จะเพิ่ม mmproj สำหรับ vision เมื่อ 25 ต.ค. แล้วก็ตาม
• การ์ดโมเดลยังมีหัวข้อที่เขียนว่า TBD อยู่หลายจุด รวมถึงหัวข้อความต้องการหน่วยความจำ ข้อมูลส่วนนี้ต้องดูจากเอกสารของ Strata แทน

สิ่งที่ใช้ได้แล้วคือ API ที่เข้ากันได้กับ OpenAI (/v1/chat/completions) และ Anthropic (/v1/messages) บน localhost ระบบแปลง tool call แบบ DSML ของ DeepSeek เป็น tool_calls / tool_use ให้ และเก็บ KV ของบทสนทนาลงดิสก์ไว้ (สูงสุด 2GB) เพื่อให้ agent กับ sub-agent ที่ใช้ system prompt เดียวกันกลับมาตอบต่อได้เร็วขึ้น จึงเสียบเข้ากับ Claude Code หรือ Codex ได้ทันที น้ำหนักที่ควอนต์แล้วยังเป็น MIT ตามต้นฉบับ

มุมมอง AI Curator

ผลงานนี้น่าประทับใจทางวิศวกรรม แต่ควรมองให้ตรงว่ามันคืออะไร โมเดล 763B ที่ตอบ 5–10 โทเคนต่อวินาทีบนการ์ด 12GB ใช้แทน API สำหรับ agent ที่ต้องวนหลายสิบรอบไม่ได้ ถ้า agent สร้างโค้ด 2,000 โทเคนต่อรอบ แต่ละรอบจะใช้เวลาเกือบ 4–7 นาที และคอนเท็กซ์ 8K ก็อ่าน repo จริงได้ไม่พอ งานที่เหมาะกับ setup นี้คือ batch งานที่ข้อมูลออกจากเครื่องไม่ได้ เช่น โค้ดหรือเอกสารภายในของธนาคารและโรงพยาบาลไทยที่ส่งขึ้น API ต่างประเทศไม่ได้ตามนโยบาย PDPA หรือนโยบายองค์กร ในกรณีแบบนี้ การรันข้ามคืนช้า ๆ ด้วยโมเดลระดับนี้ยังคุ้มกว่าการใช้โมเดล 27B ที่เร็วแต่ฉลาดน้อยกว่า

เรื่องที่ควรจำจากข่าวนี้อีกข้อคือ benchmark ที่ “recovery 100%” ไม่ได้แปลว่าไม่มีอะไรเสีย เอกสารของ Strata เองแสดงว่า perplexity ของรุ่นเดียวกันสูงขึ้น 15.5% และร้อยแก้วของ IQ1_M แย่ลงกว่าครึ่ง ถ้าจะใช้กับงานเขียนหรืองานภาษาไทย ซึ่งไม่มีใครวัดไว้เลย ต้องวัดเองก่อน การ์ดโมเดลที่เลือกแสดงแค่ benchmark ที่ต้นฉบับทำได้ใกล้เต็มอยู่แล้ว เป็นกับดักที่ควรระวังในการอ่านทุกโมเดลควอนต์

ในระยะยาว การที่ DeepSeek วางตาราง Engram ไว้นอก matmul ได้ส่งผลถึงฮาร์ดแวร์ที่ใช้รันโมเดลด้วย เมื่อพารามิเตอร์หนึ่งในสี่อยู่บน SSD ได้ ตัวจำกัดของโมเดลเปิดขนาดใหญ่จะย้ายจาก VRAM ไปเป็น RAM และความเร็ว NVMe ซึ่งราคาถูกกว่ามาก ถ้า llama.cpp รองรับ V4.1 เมื่อไร คาดว่าเครื่อง workstation ที่มี RAM 128–256GB จะกลายเป็นตัวเลือกจริงจังสำหรับทีมเล็กที่อยากได้โมเดลระดับนี้ในออฟฟิศ

แหล่งข่าว

• Hugging Face — ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF (การ์ดโมเดล, ตารางผล, ขนาดไฟล์)
• GitHub — Strata docs/DEEPSEEK41.md (การวางหน่วยความจำ, KL/perplexity, ความเร็ว)
• GitHub — Strata 0.2.5 release notes (DeepSeek ในแอป, โหมด Faster)
• arXiv — GSQ: Highly-Accurate Low-Precision Scalar Quantization for LLMs via Gumbel-Softmax Sampling