NVIDIA ปล่อย Nemotron-Labs Dory 4B โมเดล looped ที่ปรับจำนวนรอบคิดได้ตอนรัน — 2 รอบได้ SWE-bench Verified 59.5 ชนะ Qwen3.5-4B แต่ GPQA และความรู้ทั่วไปยังแพ้ GGUF แค่ 3.67 GB ทว่า vLLM/llama.cpp ยังต้องบิลด์จาก PR

NVIDIA ปล่อยโมเดลเล็กที่สถาปัตยกรรมแปลกที่สุดในรอบหลายเดือนขึ้น Hugging Face เมื่อ 16 ต.ค. 2026 ชื่อ Nemotron-Labs Dory1.0-4B (repo GGUF สร้างเมื่อ 16:25 UTC ส่วน BF16, MXFP8 และ NVFP4 ตามมาราว 18:30 UTC) เป็นโมเดลแบบ looped หรือ latent-recurrent ที่มีขนาด 4B แต่สามารถ วนใช้บล็อกเลเยอร์ชุดกลางซ้ำหลายรอบ เพื่อ “คิดในพื้นที่ latent” นานขึ้นต่อโทเคน และเลือกจำนวนรอบได้ตอน inference จาก checkpoint เดียว โดยไม่ต้องเทรนใหม่หรือเปลี่ยนโมเดล

ไลเซนส์เป็น OpenMDW-1.1 ซึ่งการ์ดบอกว่า “ready for commercial or non-commercial use” (มีระบุใน metadata และลิงก์ในการ์ด แต่ repo ไม่มีไฟล์ LICENSE แยก)

สถาปัตยกรรม: 8 + (20 × N) + 8

• โครงหลักเป็น normalized-GPT (nGPT) สลับ sliding-window attention กับ full attention แบ่งเป็นสามบล็อก คือ Input 8 เลเยอร์, Recurrent 20 เลเยอร์ที่ใช้พารามิเตอร์ร่วมกันและวนได้ N รอบ (ใส่อินพุตกลับเข้าไปทุกรอบ) และ Output 8 เลเยอร์ จึงเท่ากับ 36 เลเยอร์ที่ 1 รอบ, 56 ที่ 2 รอบ และ 96 ที่ 4 รอบ ขนาดน้ำหนักเท่าเดิมทุกกรณี
• Last-loop KV caching: ปกติการวนจะต้องเก็บ KV cache แยกทุกรอบ ทำให้หน่วยความจำโตตามจำนวนรอบ โหมด last_loop ให้แต่ละรอบเขียนทับ cache ของรอบก่อน จึงใช้หน่วยความจำเท่าโมเดลที่ไม่วนเลยไม่ว่าจะวนกี่รอบ NVIDIA บอกว่าความแม่นใกล้เคียงโหมด per-loop
• พรีเทรนแบบ NVFP4 โดยตรง ราว 4.5T โทเคนแรกจากทั้งหมด 6T แล้วเทรนต่อเป็น BF16 ขยาย context เป็น 256K ด้วยข้อมูลอีก 300B โทเคน จากนั้นทำ SFT และ RL แบบ GRPO
• ปล่อยทั้ง BF16, MXFP8, NVFP4 และ GGUF Q5_K_M ขนาด 3,673,288,864 ไบต์ (ราว 3.67 GB)

คะแนน: เด่นงานโค้ดและเอเจนต์ แต่ความรู้และ reasoning ยังแพ้

ตารางของ NVIDIA (วัดเองด้วย NeMo Evaluator) เทียบ Dory ที่ 1 / 2 / 4 รอบกับ Qwen3.5-4B

Benchmark	Dory 1 รอบ	2 รอบ	4 รอบ	Qwen3.5-4B	Qwen3.5-9B
SWE-bench Verified	50.3	59.5	61.8	54.7	61
Terminal-Bench 2.1	12.5	18.1	22.2	15	24
IFBench	74.29	77.94	79	53.83	59
GPQA Diamond	69.19	72.41	72.16	77.71	80.93
HLE (ไม่ใช้เครื่องมือ)	8.25	10.89	10.43	11.31	15.43
AA-Omniscience	10.03	10.08	10.03	15.02	18.05

ภาพที่ได้ชัดเจน การวนรอบช่วยงานที่ต้องคิดหลายขั้นอย่างโค้ดและเอเจนต์ได้มาก โดยที่ 4 รอบ SWE-bench Verified ขึ้นไปใกล้ Qwen3.5-9B แต่ ไม่ได้เพิ่มความรู้ เพราะ AA-Omniscience แทบไม่ขยับเลย (10.03 → 10.08 → 10.03) ซึ่งสมเหตุสมผล เนื่องจากความรู้ถูกจำกัดด้วยจำนวนพารามิเตอร์ ส่วน GPQA และ HLE ยังต่ำกว่า Qwen3.5-4B ทุกระดับรอบ และที่ 4 รอบบางค่าก็ลดลงจาก 2 รอบ NVIDIA จึงแนะนำ 2 รอบเป็นค่าเริ่มต้น โดยระบุว่าความแม่นที่เพิ่มขึ้นส่วนใหญ่มาจากรอบที่สอง และใช้ 4 รอบสำหรับงานเอเจนต์ ข้อควรจำคือคะแนนทั้งหมดวัดบน BF16 ไม่ใช่ GGUF

รันได้ไหม: ได้ แต่ยังต้องบิลด์เอง

• vLLM: ยังรองรับผ่าน PR #60149 ที่ยัง open การ์ดให้ติดตั้งจาก PR โดยตรง และตั้งจำนวนรอบผ่าน --hf-overrides '{"n_recurrent_loops": 2, "recurrent_kv_cache_mode": "per_loop"}'
• llama.cpp: PR #30306 ยัง open สูตรสำหรับ Mac ในการ์ดให้บิลด์จาก fork ส่วนตัวของวิศวกร NVIDIA โดยปักไว้ที่ commit 98a74c9 ใช้ Metal และตั้งรอบผ่าน --override-kv "dory.num_loops=int:2,..." (ตั้งได้ 1–4) ตัวอย่างในการ์ดใช้ --ctx-size 4096
• ค่าที่แนะนำคือ temperature 1.0, top_p 0.95 และ reasoning เปิดตลอดใน vLLM ถ้าใช้กับ coding agent ให้ส่ง force_nonempty_content: True ใน chat_template_kwargs

มุมมอง AI Curator

ความสำคัญของ Dory ไม่ได้อยู่ที่คะแนน เพราะในงานความรู้ทั่วไป Qwen3.5-4B ยังดีกว่า แต่อยู่ที่แนวทาง looped ซึ่งเราเคยเห็นในงานขนาดเล็กอย่าง Nanbeige 4.2 3B ตอนนี้ NVIDIA นำมาทำต่อ โดยปล่อยพร้อมไลเซนส์เชิงพาณิชย์ หลาย precision, GGUF, โหมด KV cache ที่ไม่โตตามจำนวนรอบ และคำสั่ง serve ให้ครบ แนวคิด “ปุ่มปรับความคิด” แบบนี้เหมาะกับงาน on-device มาก ใช้ 1 รอบสำหรับแชตทั่วไปเพื่อประหยัดแบตเตอรี่ และเปิด 4 รอบเมื่อให้แก้โค้ด โดยไม่ต้องเก็บโมเดลสองตัวในเครื่องและไม่ต้องเพิ่ม KV cache ถ้าแนวทางนี้ได้ผลจริง โมเดลเล็กรุ่นถัดไปอาจแข่งกันที่ “คอมพิวต์ต่อโทเคนที่ปรับได้” มากกว่าจำนวนพารามิเตอร์

สำหรับนักพัฒนาไทยมีข้อจำกัดชัดเจน การ์ดระบุว่ารองรับภาษาอังกฤษเท่านั้น และความรู้ทั่วไปต่ำ จึงไม่เหมาะกับงานถาม-ตอบภาษาไทยหรืองานที่ต้องใช้ข้อเท็จจริง แต่น่าลองเป็นโมเดลโค้ดหรือเอเจนต์ขนาดเล็กบนโน้ตบุ๊ก แนะนำให้รอ PR ของ llama.cpp merge ก่อน ซึ่งน่าจะตามมาด้วย Ollama และ LM Studio แทนการบิลด์จาก fork ส่วนตัวที่ปักไว้ที่ commit เดียว

แหล่งข่าว

• nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 — การ์ดโมเดลบน Hugging Face
• nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF — Hugging Face
• vLLM PR #60149: [Model] Add Dory support