Strata: ตัวติดตั้งคลิกเดียวที่รัน Qwen3.8-Flash-Next 125B บนการ์ดจอเกมมิ่ง 12 GB — RTX 5070 ได้ 94 tok/s, ขึ้นอันดับ 2 บน HN แต่คนทดสอบเจอคุณภาพตกในงานภาพ

โปรเจกต์ที่นักพัฒนาสาย local LLM คุยกันมากที่สุดช่วงสุดสัปดาห์คือ Strata ซึ่งเป็นตัวติดตั้งคลิกเดียวพร้อมเอนจิน inference สำหรับรัน Qwen3.8-Flash-Next (MoE ขนาด 125B ที่ active 6B ต่อโทเคน ซึ่งเราเขียนถึงตอนเปิดน้ำหนักเมื่อ 26 ส.ค.) บนพีซีเกมมิ่งทั่วไป โดยใช้การ์ด NVIDIA หรือ AMD ที่มี VRAM ตั้งแต่ 12 GB ใช้ได้ทั้ง Windows และ Linux ตัวโปรเจกต์เป็นไลเซนส์ MIT เมื่อ 4 ต.ค. 2026 มีคนโพสต์ลง Hacker News ในชื่อ “Run Qwen 3.8 Flash Next (125B) on consumer hardware (RTX 4090) at 100T/s” ได้ 569 คะแนน และขึ้นไปถึงอันดับ 2 ของหน้าแรก ตอนนี้รีโปมีดาวเกือบ 11,000 ดวง

ขอระบุลำดับเวลาให้ชัด: รีโปสร้างตั้งแต่ 24 ก.ย. และมีคนโพสต์ลง HN ครั้งแรกเมื่อ 28 ก.ย. แต่ได้แค่ 5 คะแนน รอบที่เป็นกระแสคือวันที่ 4 ต.ค. และโปรเจกต์ยังออกเวอร์ชันใหม่แทบทุกวัน (ล่าสุดคือ v0.1.39 เมื่อ 4 ต.ค.) จึงนับว่าเป็นของใหม่ที่กำลังพัฒนาอยู่ ไม่ใช่ของเก่าที่เพิ่งมีคนเจอ

ทำไมการ์ด 12 GB ถึงรันโมเดล 125B ได้

README ของ Strata อธิบายด้วยการเปรียบเทียบกับห้องครัว คือ “ของที่ใช้บ่อยวางบนเคาน์เตอร์ ที่เหลือเก็บในตู้” ถ้าแปลเป็นภาษาเทคนิค มีอยู่สามส่วน:

• แบ่ง expert ไปตามระดับหน่วยความจำ — README บอกว่าโมเดลมี “ผู้เชี่ยวชาญย่อย” (expert) รวม 24,576 ตัว และแต่ละโทเคนใช้แค่ 10 ตัว Strata จึงเก็บ expert ที่ถูกเรียกใช้บ่อยหลายพันตัวไว้บน GPU ส่วน expert ทั้งหมดเก็บไว้ใน RAM และให้ CPU ช่วยคำนวณ expert ที่ไม่ได้อยู่บน GPU ไปพร้อมกัน
• ตาราง n-gram embedding อยู่บน SSD — ชั้น “พจนานุกรมวลี” ขนาดใหญ่ซึ่งเป็นจุดเด่นของ Flash-Next ถูกเก็บเป็น shard ขนาด 29 GB บน SSD แนวคิดนี้ตรงกับที่ Qwen ออกแบบไว้ตั้งแต่แรกว่าตารางนี้ “offload ออกจาก GPU ได้”
• เดาก่อนแล้วค่อยตรวจ (speculative decoding) — ใช้ MTP draft layer ช่วยเดาโทเคนล่วงหน้า แล้วให้โมเดลใหญ่ตรวจทีเดียวหลายโทเคน README เคลมว่าเร็วขึ้น 1.6–1.8 เท่า โดยคำตอบเหมือนเดิม

เอนจินนี้ใช้บางส่วนของ llama.cpp/ggml ส่วนตัวโมเดลเป็นควอนต์ GGUF ที่ ISTA-DASLab, Unsloth และ UkisAI ทำไว้ และรีโปมี paper อธิบายรายละเอียดแนบมาด้วย

ตัวเลขที่วัดได้จริง และตัวเลขที่ยังเป็นแค่การประมาณ

README ทดสอบกับเครื่องสองเครื่อง (ตอบยาว 4K โทเคน, prompt ยาว 32K โทเคน):

เครื่อง	ควอนต์	ความเร็วตอบ	ความเร็วอ่าน prompt
RTX 5070 12 GB + RAM 64 GB	Q2_0	94 tok/s	2,650 tok/s
RTX 5070 12 GB + RAM 64 GB	IQ3_S	53 tok/s	1,620 tok/s
RX 9070 XT 16 GB + RAM 47 GB	Q2_0	60 tok/s	1,160 tok/s

พาดหัวบน HN ที่บอกว่า “RTX 4090 ได้ 100T/s” ไม่ได้มาจากรีโป แต่มาจากผู้โพสต์ที่วัดเองแล้วเขียนว่า “ได้ 124 tokens per sec” บนเครื่อง 4090 + DDR5 128 GB + Ryzen 7950X3D ส่วนในเอกสารของ Strata เขียนว่า RTX 3090 “น่าจะ” ได้ประมาณ 100–140 tok/s ซึ่งเป็นค่าประมาณ ไม่ใช่ค่าที่วัดจริง รายงานจากชุมชนที่วัดจริงและมีรายละเอียดครบคือ RTX 5090 + RAM 64 GB ควอนต์ IQ2_XS ได้ราว 165–179 tok/s และ prompt ยาวถึง 128K โทเคนก็ยังทำได้

เรื่อง RAM สำคัญกว่าการ์ดจอ: 32 GB ใช้ได้แค่รุ่น Coder (ISTA-DASLab ตัด expert ออกครึ่งหนึ่งเหลือ 256 จาก 512 และเคลมว่ายังได้ 91% ของคะแนน SWE-bench Verified ของโมเดลเต็ม แต่ภาษาจีน ญี่ปุ่น เกาหลีอ่อนลง) ถ้ามี 64 GB จะรันได้ทุกขนาด ส่วนไฟล์ที่ต้องดาวน์โหลดมีขนาดประมาณ 66–76 GB

ใช้กับ coding agent ได้ทันที

จุดที่ทำให้ Strata ต่างจากเอนจินทดลองทั่วไปคือ API ที่เปิดไว้ที่ http://127.0.0.1:8080 ซึ่งรองรับครบทุกแบบ:

• OpenAI-compatible /v1 (ใส่ key หรือชื่อโมเดลอะไรก็ได้)
• Anthropic Messages /v1/messages ตั้ง ANTHROPIC_BASE_URL=http://127.0.0.1:8080 แล้ว Claude Code ก็ชี้มาที่โมเดลในเครื่องได้
• Responses API /v1/responses สำหรับ Codex CLI

นอกจากนี้ยังมี MCP server ให้ agent สั่งติดตั้ง เปิด หรือปิด Strata ได้เอง และ README ยังแนะนำให้ผู้ใช้วางพรอมต์ให้ coding agent ของตัวเอง “ติดตั้ง Strata ตาม docs/AI_SETUP.md” ซึ่ง agent จะตรวจการ์ดจอ RAM และพื้นที่ดิสก์ก่อนเลือกขนาดควอนต์ให้

ข้อควรระวังที่คอมเมนต์บน HN ชี้ไว้

• ความเร็วมาจากควอนต์ที่ต่ำมาก — ผู้ใช้ tcdent เขียนว่า “โปรเจกต์ low-spec ที่อวด 100 tok/s ล้วนเป็นควอนต์ 2 บิตแบบเดียวกัน และไม่มีใครรายงานความแม่นยำเลย 4 บิตคือขั้นต่ำ” (Strata อ้างว่า IQ3_S ได้คะแนนเท่าโมเดลเต็มบนชุดทดสอบที่ Qwen เผยแพร่ แต่ตัวเลือกที่แนะนำและเร็วกว่าคือ IQ2_XS)
• งานด้านภาพแย่ลงชัดเจน — ผู้ใช้ Jackson__ ทดสอบให้ระบุพิกัดวัตถุ 50 ภาพ แล้วพบว่า Strata มีค่า median error 154.8 พิกเซล ขณะที่ GGUF และ vision adapter ชุดเดียวกันบน llama.cpp ได้ 46.5 พิกเซล เขาบอกว่าความต่างนี้ใหญ่พอ ๆ กับการขยับจากโมเดล 9B ไป 35B ซึ่งบ่งว่าปัญหาอยู่ที่ตัวเอนจิน ไม่ใช่ที่ควอนต์
• ในงานโค้ดผลออกมาดี — ผู้ใช้อีกคนเทียบกับ Qwen3.8-27B แบบ Q4/Q5 บน RTX 3090 แล้ว Strata (IQ3_XXS) ได้ 114/128 (89.1%) เทียบกับ 92/128 (71.9%) แต่ต้องเข้าใจว่าเป็นชุดทดสอบส่วนตัวที่ยังไม่มีใครตรวจซ้ำ
• ตอนโหลดครั้งแรกเครื่องจะค้าง 1–3 นาที เพราะต้องโหลดข้อมูล 35–55 GB ลง RAM แล้วล็อกบางส่วนไว้ให้ GPU (README เตือนไว้เอง) และค่าเริ่มต้นรับได้ทีละ request

มุมมอง AI Curator

ผมว่า Strata สำคัญเพราะเป็นตัวอย่างแรกที่ชัดเจนว่า สถาปัตยกรรมแบบ Qwen4 (MoE ที่ sparse มาก + n-gram embedding ที่ย้ายไปไว้ที่อื่นได้) ถูกออกแบบมาให้วางเป็นชั้น ๆ บนฮาร์ดแวร์ราคาถูก เดือนที่แล้วเราเห็น slotstream ทำแบบเดียวกันบน Mac และ colibri ทำกับ DeepSeek ส่วนเดือนนี้มี Strata ทำบน Windows ด้วยการ์ด 12 GB ทุกโปรเจกต์ใช้หลักการเดียวกัน คือ ความจุของโมเดลไม่ได้ถูกจำกัดด้วย VRAM อีกต่อไป แต่ถูกจำกัดด้วย RAM กับความเร็ว SSD นี่เป็นข่าวดีสำหรับนักพัฒนาไทย เพราะพีซีเกมมิ่ง RTX 4060 Ti 16 GB หรือ 5070 ที่มี RAM 64 GB ราคาต่ำกว่าเครื่อง Mac ที่มี unified memory 128 GB ไปมาก

แต่ผมอยากให้มองตัวเลข 94 tok/s อย่างระมัดระวัง สิ่งที่น่ากังวลที่สุดในเธรดไม่ใช่เรื่องควอนต์ 2 บิต แต่คือผลทดสอบงานภาพที่ ใช้น้ำหนักชุดเดียวกันแต่แม่นยำแย่ลงประมาณ 3 เท่าเมื่อเปลี่ยนเอนจิน แปลว่าการ optimize ที่ซับซ้อน (เช่นการแคช expert แบบปรับตัวเอง และการตรวจ speculative decoding) อาจทำให้ผลลัพธ์ผิดเพี้ยนแบบที่ไม่มีใครสังเกตเห็นได้จากตัวเลขความเร็ว คำแนะนำของผมสำหรับทีมที่จะใช้กับงานจริง เช่นให้ Claude Code ชี้มาที่โมเดลในเครื่องเพื่อเลี่ยงการส่งโค้ดลูกค้าออกนอกบริษัท คือให้รัน eval ชุดเล็กของงานตัวเองเทียบกับ llama.cpp บนน้ำหนักชุดเดียวกันก่อน ถ้าผลใกล้กันค่อยเปลี่ยนมาใช้

อีกเรื่องที่ไม่ควรมองข้ามคือไลเซนส์ ตัว Strata เป็น MIT ก็จริง แต่ Qwen3.8-Flash-Next ใช้ Qwen Community License 1.0 ซึ่งมีเงื่อนไขเพิ่มสำหรับบริการเชิงพาณิชย์ (เราเคยอธิบายไว้ในโพสต์เปิดตัวโมเดล) ถ้าจะทำผลิตภัณฑ์ขายบนโมเดลนี้ ต้องอ่านไฟล์ LICENSE ของโมเดลเอง ไม่ใช่ดูแค่ไลเซนส์ของเอนจิน

แหล่งข่าว

• GitHub — Niko1221/Strata (README, ตารางความเร็ว, วิธีติดตั้ง)
• Strata — รายงาน benchmark จากชุมชน (RTX 5090, 2× MI50)
• Hacker News — “Run Qwen 3.8 Flash Next (125B) on consumer hardware (RTX 4090) at 100T/s”
• Hugging Face — Qwen/Qwen3.8-Flash-Next