NVIDIA ปล่อย Nemotron 3.5 Bolt 74B-A9B 24GB: บีบ Super VL 120B ลงเหลือ 74B แล้ว quantize เป็น 2 บิตให้น้ำหนักเหลือ 24GB สำหรับเอเจนต์บนเครื่อง — คะแนนนำ Qwen3.6-35B-A3B แต่ช้ากว่าในการวัดของ NVIDIA เอง

NVIDIA ปล่อย Nemotron 3.5 Bolt 74B-A9B 24GB เมื่อ 15 ต.ค. 2026 (วันที่ตามการ์ดโมเดลและบล็อกงานวิจัย แม้ repo บางตัวจะถูกสร้างไว้ตั้งแต่ 7 ต.ค.) เป็นโมเดลที่ตั้งโจทย์ตรง ๆ ว่า ต้องให้น้ำหนักเหลือไม่เกิน 24GB และถอดรหัสได้อย่างน้อย 80 โทเคนต่อวินาที เพื่อรันเอเจนต์บนเครื่องควบคู่กับแอปอื่นได้ โดยออกแบบมาสำหรับ RTX Spark / DGX Spark เป็นหลัก

วิธีที่ NVIDIA ใช้น่าสนใจกว่าตัวโมเดล คือแทนที่จะเทรนโมเดลเล็กขึ้นมาใหม่ NVIDIA เอา Nemotron 3.5 Super VL 120B-A12B มา บีบโครงสร้าง ลงเหลือ 74B-A9B แล้ว quantize experts ลงถึง 2 บิต และอ้างว่าผลที่ได้ดีกว่าโมเดลขนาดใกล้กันที่เทรนจากศูนย์แล้ว quantize แค่ 4 บิต

สเปกและวิธีทำ

• ขนาด: 74B รวม / 9B active, สถาปัตยกรรม hybrid Mamba-2 + Transformer แบบ LatentMoE พร้อม vision encoder C-RADIO v4-H
• อินพุต: ข้อความ ภาพ วิดีโอ (สูงสุด 2 นาที) / เอาต์พุตเป็นข้อความ, บริบทสูงสุด 256K
• บีบโครงสร้าง: ใช้ Star Elastic ซึ่งให้ router เลือกจำนวน experts และความกว้าง MoE ของแต่ละชั้นเอง ลด top-K จาก 22 ในรุ่นแม่เหลือ 9
• Quantization: FC1/FC2 ของ experts ทั้งหมดเป็น IQ2_XXS (2.0625 บิตต่อพารามิเตอร์), Mamba linear เป็น NVFP4, ส่วน attention, embedding และ lm_head เป็น Q8_0 แล้วกู้ความแม่นด้วย quantization-aware distillation
• Speculative decoding: มี drafter LiLiCorr ขนาด 1.13B ให้มาด้วย
• ไฟล์: 24GB สำหรับ vLLM, GGUF สำหรับ llama.cpp, drafter ทั้งสองแบบ และ BF16 ก่อน quantize สำหรับ fine-tune ต่อ
• ไลเซนส์: OpenMDW-1.1 การ์ดระบุว่าใช้ได้ทั้งเชิงพาณิชย์และไม่ใช่เชิงพาณิชย์

ข้อสังเกตเล็ก ๆ: การ์ดโมเดลบอกว่าข้อมูล text ช่วง SFT ส่วนหนึ่งเป็น synthetic data ที่สร้างจาก Kimi K3

คะแนน: นำคู่แข่งรุ่นเดียวกันเกือบทุกข้อ

ตัวเลขจากการ์ดโมเดล (Bolt วัดที่ IQ2 ส่วนคู่แข่งวัดที่ BF16):

Benchmark	Bolt 74B-A9B (IQ2)	Qwen3.6-35B-A3B	Gemma 4 26B-A4B	Nemotron 3.5 Lightning
Terminal-Bench 2.1	50.98	44.38	37.22	23.46
BrowseComp	66.75	48.74	26.30	36.81
WebArena (vision)	50.86	36.60	38.2	–
GPQA Diamond	86.43	83.40	79.61	75.57
HLE (ไม่ใช้ tools)	25.30	19.56	17.42	10.47
PinchBench	87.82	88.07	74.70	83.43
AA-Omniscience accuracy	16.90	19.47	22.17	16.63

จุดที่ยังแพ้คือ ความรู้ข้อเท็จจริง (AA-Omniscience) ซึ่งเป็นเรื่องปกติของโมเดลที่ถูกบีบอัดหนัก ๆ ส่วน MCP-Atlas การ์ดเขียนเองว่าวัด Qwen3.6 ได้ 51.2 ขณะที่ Qwen รายงานไว้ 62.8 ถ้าใช้ตัวเลขของ Qwen Bolt (52.2) จะแพ้ในข้อนี้

สิ่งที่ต้องรู้ก่อนดาวน์โหลด: “24GB” ไม่ได้แปลว่าการ์ด 24GB

• ความเร็ว: ตารางในบล็อกของ NVIDIA เอง วัดด้วย llama.cpp บน Surface Laptop Ultra (RTX Spark 128GB) ได้ 84 TPS ขณะที่ Qwen3.6-35B-A3B ได้ 96.6 และ Gemma 4 26B-A4B ได้ 100.6 และในการเล่นซ้ำงานเอเจนต์จริง (AA AgentPerf Local) Bolt ใช้ 601 วินาที เทียบกับ 454 และ 481 วินาที คือ ฉลาดกว่าแต่ช้ากว่า ราว 25–30%
• หน่วยความจำ: 24GB คือขนาดน้ำหนัก ส่วนสูตร llama.cpp ใน repo GGUF ระบุว่า ต้องมี GPU 32GB ขึ้นไป (สูตร 28GB, บริบท 64K) หรือ 48GB ขึ้นไป สำหรับบริบทเต็ม 256K การ์ด 24GB อย่าง RTX 4090 จึงไม่อยู่ในสูตรที่ NVIDIA ให้มา
• ซอฟต์แวร์: เวอร์ชัน vLLM ต้องใช้ nightly ที่ระบุ commit และ kernel b12x บน Blackwell SM120/SM121 ส่วน llama.cpp ต้อง build จาก source ล่าสุด

มุมมอง AI Curator

Bolt เป็นหลักฐานที่ดีที่สุดชิ้นหนึ่งของแนวคิดที่วงการพูดกันมาสักพัก คือ “โมเดลใหญ่ที่บีบลง 2 บิต ดีกว่าโมเดลเล็กที่ 4 บิต” ในงบหน่วยความจำเท่ากัน คะแนน BrowseComp ที่ห่าง Qwen3.6 เกือบ 18 จุดชี้ว่าความสามารถด้านเอเจนต์ของรุ่นแม่ 120B รอดจากการบีบมาได้มาก แต่ความเร็วที่ช้ากว่าและความรู้ที่หายไปก็บอกว่ามันไม่ได้มาฟรี สำหรับงานเอเจนต์ที่วนหลายรอบ ความช้าลง 25% จะรู้สึกได้ชัดกว่าคะแนนที่เพิ่มขึ้นไม่กี่จุด

สำหรับนักพัฒนาไทย ข้อดีที่ชัดที่สุดคือไลเซนส์ OpenMDW-1.1 ที่ไม่มีเพดานรายได้ ต่างจาก LFM2.5 ของ Liquid หรือ Muse Spark Open ของ Meta ที่ออกมาในสัปดาห์เดียวกัน และมี BF16 ให้ fine-tune ต่อ แต่ภาษาไทยไม่อยู่ในรายการภาษาที่รองรับ และฮาร์ดแวร์เป้าหมายคือ RTX Spark ซึ่งยังหาซื้อในไทยได้ไม่ง่าย ใครมี RTX 5090 (32GB) ลองสูตร 28GB ได้ แต่ถ้าใช้การ์ด 24GB อยู่ Qwen3.6-35B-A3B ที่ 4 บิตยังเป็นตัวเลือกที่ใช้งานจริงได้ง่ายกว่าในวันนี้

แหล่งข่าว

• NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB — NVIDIA Research
• nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB — การ์ดโมเดล
• nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF — สูตร llama.cpp