แท็ก

#Quantization

10 บทความ

DeepSeek-V4.1-Flash 763B รันบนการ์ดจอ 12GB ได้แล้ว: IST DASLab ปล่อย GGUF 1.75–2.25 บิต และ Strata ใส่เข้าแอปคลิกเดียว — RTX 3060 ได้ 9–11 tok/s แต่ต้องมี RAM 40GB ขึ้นไป ดิสก์ 239–274GB และคอนเท็กซ์ 8K
เครื่องมือนักพัฒนา

DeepSeek-V4.1-Flash 763B รันบนการ์ดจอ 12GB ได้แล้ว: IST DASLab ปล่อย GGUF 1.75–2.25 บิต และ Strata ใส่เข้าแอปคลิกเดียว — RTX 3060 ได้ 9–11 tok/s แต่ต้องมี RAM 40GB ขึ้นไป ดิสก์ 239–274GB และคอนเท็กซ์ 8K

ห้องแล็บ DASLab ของ IST Austria อัปโหลด DeepSeek-V4.1-Flash-1017 แบบ GGUF ความแม่นยำผสม 1.75, 2.00 และ 2.25 บิตขึ้น Hugging Face เมื่อ 23 ต.ค. การ์ดโมเดลบอกว่ารุ่น 2.00 บิตได้คะแนนเท่าโมเดลต้นฉบับ 100% ใน AIME25, GPQA-Diamond และ LiveCodeBench v6 ส่วน Strata ตัวติดตั้งคลิกเดียวรองรับชุดนี้ตั้งแต่ 24–25 ต.ค. และวัดได้ 4–11 tok/s บนการ์ด 12GB แต่การวัดของ Strata เองพบว่า perplexity ของรุ่น 2.00 บิตเพิ่มขึ้น 15.5% ตอนนี้ llama.cpp ยังรันไฟล์ชุดนี้ไม่ได้ และคอนเท็กซ์ที่ผ่านการทดสอบมีแค่ 8K

· อ่าน 6 นาที
NVIDIA ปล่อย Nemotron 3.5 Bolt 74B-A9B 24GB: บีบ Super VL 120B ลงเหลือ 74B แล้ว quantize เป็น 2 บิตให้น้ำหนักเหลือ 24GB สำหรับเอเจนต์บนเครื่อง — คะแนนนำ Qwen3.6-35B-A3B แต่ช้ากว่าในการวัดของ NVIDIA เอง
โมเดลใหม่

NVIDIA ปล่อย Nemotron 3.5 Bolt 74B-A9B 24GB: บีบ Super VL 120B ลงเหลือ 74B แล้ว quantize เป็น 2 บิตให้น้ำหนักเหลือ 24GB สำหรับเอเจนต์บนเครื่อง — คะแนนนำ Qwen3.6-35B-A3B แต่ช้ากว่าในการวัดของ NVIDIA เอง

NVIDIA ปล่อย Nemotron 3.5 Bolt 74B-A9B 24GB เมื่อ 15 ต.ค. 2026 เป็นโมเดลภาพ+ข้อความแบบ Mamba-Transformer MoE ที่บีบอัดจาก Nemotron 3.5 Super VL 120B-A12B แล้ว quantize experts เป็น IQ2_XXS (2.06 บิต) จนน้ำหนักเหลือ 24GB บริบท 256K ไลเซนส์ OpenMDW-1.1 คะแนนนำ Qwen3.6-35B-A3B และ Gemma 4 26B-A4B ในงานเอเจนต์หลายรายการ แต่ตาราง NVIDIA เองแสดงว่ายังช้ากว่าทั้งสองตัว และสูตร llama.cpp ที่ให้มาต้องใช้ GPU 32GB ขึ้นไป

· อ่าน 4 นาที
Strata: ตัวติดตั้งคลิกเดียวที่รัน Qwen3.8-Flash-Next 125B บนการ์ดจอเกมมิ่ง 12 GB — RTX 5070 ได้ 94 tok/s, ขึ้นอันดับ 2 บน HN แต่คนทดสอบเจอคุณภาพตกในงานภาพ
เครื่องมือนักพัฒนา

Strata: ตัวติดตั้งคลิกเดียวที่รัน Qwen3.8-Flash-Next 125B บนการ์ดจอเกมมิ่ง 12 GB — RTX 5070 ได้ 94 tok/s, ขึ้นอันดับ 2 บน HN แต่คนทดสอบเจอคุณภาพตกในงานภาพ

Strata (MIT) คือตัวติดตั้งคลิกเดียวพร้อมเอนจินที่แตกโมเดล MoE Qwen3.8-Flash-Next 125B ไปไว้บน GPU, RAM และ SSD ให้รันได้บนการ์ด 12 GB กับ RAM 32–64 GB โดย README วัดได้ 94 tok/s บน RTX 5070 และเปิด API แบบ OpenAI/Anthropic ให้ Claude Code หรือ Codex ใช้ได้ทันที โพสต์บน Hacker News เมื่อ 4 ต.ค. ได้ 569 คะแนน แต่ความเร็วนี้แลกมากับควอนต์ 2–3 บิต และมีผู้ทดสอบพบว่างานด้านภาพแม่นยำแย่กว่า llama.cpp ราว 3 เท่า

· อ่าน 6 นาที
Phonon-2 โมเดลถอดเสียงภาษาอังกฤษแบบเปิด ขนาดดาวน์โหลด 164 MB — WER เฉลี่ย 5.21% บน Open ASR Leaderboard ห่างจาก Parakeet ต้นแบบขนาด 2.5 GB แค่ 0.25 จุด เก็บน้ำหนักราว 2.1 บิต
โมเดลใหม่

Phonon-2 โมเดลถอดเสียงภาษาอังกฤษแบบเปิด ขนาดดาวน์โหลด 164 MB — WER เฉลี่ย 5.21% บน Open ASR Leaderboard ห่างจาก Parakeet ต้นแบบขนาด 2.5 GB แค่ 0.25 จุด เก็บน้ำหนักราว 2.1 บิต

29 ก.ย. 2026 Fermion Research เปิด Phonon-2 โมเดลถอดเสียงภาษาอังกฤษที่ดัดแปลงจาก NVIDIA Parakeet TDT 0.6B v3 ไฟล์ดาวน์โหลด 164 MB ได้ WER เฉลี่ย 5.21% บน Open ASR Leaderboard ส่วนต้นแบบขนาด 2,508 MB ได้ 4.96% รันได้บน Mac, Linux, Windows และ GPU ของ NVIDIA ใช้ไลเซนส์ CC-BY-4.0 แต่รองรับเฉพาะภาษาอังกฤษ ยังไม่มีภาษาไทย

· อ่าน 5 นาที
Unsloth v0.1.902-beta: เทรน LoRA บนเช็กพอยต์ 4-bit (NVFP4/INT4/MXFP4) โดยไม่คลายเป็น 16-bit — Qwen3.8-27B-NVFP4 พีกลดจาก 72.9 GB เหลือ 40.2 GB
เครื่องมือนักพัฒนา

Unsloth v0.1.902-beta: เทรน LoRA บนเช็กพอยต์ 4-bit (NVFP4/INT4/MXFP4) โดยไม่คลายเป็น 16-bit — Qwen3.8-27B-NVFP4 พีกลดจาก 72.9 GB เหลือ 40.2 GB

1 ต.ค. 2026 Unsloth ปล่อย v0.1.902-beta ที่เทรน LoRA บนเช็กพอยต์ 4-bit แบบ NVFP4, INT4 และ MXFP4 ได้โดยเก็บน้ำหนักไว้ในรูป packed ตลอดการเทรน Qwen3.8-27B-NVFP4 ใช้หน่วยความจำพีก 40.2 GB แทน 72.9 GB และ INT4 ไม่ถูกแปลงซ้ำเป็น NF4 อีกต่อไป พร้อมคำสั่ง unsloth eval และ command palette

· อ่าน 5 นาที
Needle 3: โมเดลเรียกเครื่องมือไฟล์เดียว 8–29 MB จาก Cactus — ตัวเต็ม 121M ทำ Mobile Actions 86.0 ไล่ DeepSeek V4 Flash ที่ 88.4 แต่แพ้ขาดบน BFCL
โมเดลใหม่

Needle 3: โมเดลเรียกเครื่องมือไฟล์เดียว 8–29 MB จาก Cactus — ตัวเต็ม 121M ทำ Mobile Actions 86.0 ไล่ DeepSeek V4 Flash ที่ 88.4 แต่แพ้ขาดบน BFCL

18 ก.ย. 2026 Cactus Compute ปล่อย Needle 3 ภายใต้ Apache-2.0 — โมเดลไฟล์เดียว 8–29 MB ที่บีบเป็น 2.125 บิตต่อน้ำหนัก และเทรนให้ทุกความลึกตั้งแต่ 2 ถึง 20 เลเยอร์ใช้งานได้จริง ตัวเต็ม 121M ทำ Mobile Actions 86.0 เทียบ DeepSeek V4 Flash 88.4 แต่บน BFCL v4 และงานสกัดข้อมูล มันยังตามหลัง LFM2.5 1.2B อย่างชัดเจน

· อ่าน 7 นาที
Bonsai 2 27B: อัด Qwen3.8-27B ลงเหลือ 5.9GB ที่ 1.72 บิตต่อน้ำหนัก — เก็บความฉลาดไว้ 98.2% และรันบนแล็ปท็อปได้จริง
โมเดลใหม่

Bonsai 2 27B: อัด Qwen3.8-27B ลงเหลือ 5.9GB ที่ 1.72 บิตต่อน้ำหนัก — เก็บความฉลาดไว้ 98.2% และรันบนแล็ปท็อปได้จริง

PrismML ปล่อย Ternary Bonsai 2 27B เมื่อ 17 ก.ย. 2026 — เอา Qwen3.8-27B มาบีบเป็น ternary ทั้งโมเดลที่ 1.72 บิตต่อน้ำหนัก เหลือไฟล์ 5.95GB (เล็กกว่า FP16 ราว 9 เท่า) แต่ยังทำคะแนนเฉลี่ย 84.78 จาก 14 เบนช์มาร์กโหมดคิด = 98.2% ของ FP16 แจก Apache 2.0 แต่มีเงื่อนไขสำคัญ: ต้องใช้ llama.cpp ฉบับ fork ของ PrismML เท่านั้น

· อ่าน 8 นาที
BITCOS ทุบกำแพง 1.58 บิตของโมเดล ternary — พบว่าน้ำหนักเป็นศูนย์ถึง 51.5% เลยบีบเหลือ 1.485 บิตต่อน้ำหนัก และ decode เร็วขึ้นถึง 1.27 เท่า
งานวิจัย

BITCOS ทุบกำแพง 1.58 บิตของโมเดล ternary — พบว่าน้ำหนักเป็นศูนย์ถึง 51.5% เลยบีบเหลือ 1.485 บิตต่อน้ำหนัก และ decode เร็วขึ้นถึง 1.27 เท่า

เปเปอร์ที่ขึ้น arXiv เมื่อ 14 ก.ย. 2026 วัดการกระจายสัญลักษณ์จริงของโมเดล ternary 29 ตัว พบว่าน้ำหนักเป็นศูนย์มากถึง 51.5% จึงเสนอ BITCOS ซึ่งเป็นเลย์เอาต์แบบ bitmap + sign vector ที่กินพื้นที่ 2−z บิตต่อน้ำหนัก ชนะการแพ็กแบบ five-trit ใน 26 จาก 29 โมเดล ลงต่ำสุดที่ 1.485 บิต และดัน decode throughput ขึ้น 1.18 เท่าบน CPU กับ 1.27 เท่าบน GPU

· อ่าน 7 นาที
รัน Kimi K3 ตัวเต็ม 2.8T บน MacBook เครื่องเดียวได้ 1 โทเคน/วินาที — ARGODRIVE Deltafin สตรีมผู้เชี่ยวชาญจาก SSD สี่ลูก
เครื่องมือนักพัฒนา

รัน Kimi K3 ตัวเต็ม 2.8T บน MacBook เครื่องเดียวได้ 1 โทเคน/วินาที — ARGODRIVE Deltafin สตรีมผู้เชี่ยวชาญจาก SSD สี่ลูก

8 ก.ย. Argonaut Labs ปล่อยเบนช์มาร์กของ Deltafin ที่รัน Kimi K3 ตัวเต็ม 2.8 ล้านล้านพารามิเตอร์บน MacBook Pro M5 Max 128 GB โดยสตรีมน้ำหนักผู้เชี่ยวชาญจาก SSD ภายนอกสี่ลูก ได้ 1.00 tok/s — แต่ตัวเลขที่มีค่ากว่าคือบันได scaling ที่ชี้ว่าคอขวดไม่ใช่แบนด์วิดท์รวม และ prompt 512 โทเคนใช้เวลา 6.3 นาทีกว่าจะได้โทเคนแรก

· อ่าน 7 นาที
Axolotl v0.18.0 — ไฟน์จูนโมเดล MoE ยักษ์ด้วย LoRA 4-bit NVFP4 รองรับ GLM-5.2 และรันได้บน RTX 50xx
เครื่องมือนักพัฒนา

Axolotl v0.18.0 — ไฟน์จูนโมเดล MoE ยักษ์ด้วย LoRA 4-bit NVFP4 รองรับ GLM-5.2 และรันได้บน RTX 50xx

Axolotl ออกเวอร์ชัน 0.18.0 (17 ก.ค. 2026) รวมกว่า 90 commit ตั้งแต่ v0.17.0 จุดหลักคือ expert LoRA แบบ 4-bit NVFP4 ที่รันเร็วบนทั้งสอง MoE backend, เส้นทาง W4A4 ผ่าน SonicMoE ที่ชนะ Marlin W4A16 ทุกความยาว sequence บน B200, รองรับไฟน์จูน GLM-5.2 แบบหลาย GPU และรองรับ Blackwell ระดับผู้บริโภค (RTX 50xx / sm120)

· อ่าน 5 นาที