llama.cpp 0.6.0: MTP ทำให้ Qwen3.8-Flash-Next decode เร็วขึ้น 1.55 เท่าบน DGX Spark, Mac รุ่น M1–M4 รัน speculative decoding เร็วขึ้นราว 3.6 เท่า, รองรับ GLM-5.3-Flash และมี breaking change ฝั่ง C API (llama_batch_ext)

llama.cpp ปล่อย v0.6.0 เมื่อ 5 ตุลาคม 2026 (ตรงกับ nightly build b11429 และอัป ggml เป็น v0.26.0) ห่างจาก 0.5.0 สองสัปดาห์ รุ่นนี้มีเรื่องที่ผู้ใช้ทั่วไปได้ประโยชน์ทันทีสองเรื่อง คือ Qwen3.8-Flash-Next เร็วขึ้นด้วย MTP และ Mac รุ่นเก่าที่ใช้ speculative decoding เร็วขึ้นหลายเท่า ส่วนคนที่เขียนโค้ดเรียก libllama ตรง ๆ ต้องเตรียมแก้โค้ด เพราะ batch API เปลี่ยน

ส่วน endpoint /v1/systemone สำหรับ decision model ที่อยู่ในรุ่นนี้ด้วย เราเขียนไปแล้วตอนที่มันลงใน nightly build (3 ต.ค.) จึงไม่เล่าซ้ำในโพสต์นี้

Qwen3.8-Flash-Next ได้ MTP — decode เร็วขึ้น 1.55 เท่า

ใน llama.cpp สถาปัตยกรรมของ Qwen3.8-Flash-Next ใช้ชื่อ Qwen4Exp ใน PR #29761 มีการเพิ่ม multi-token prediction (MTP) ให้ใช้เป็น draft ใน speculative decoding ได้ ผลทดสอบบน DGX Spark ด้วยไฟล์ iq4_xs (--spec-type draft-mtp --spec-draft-n-max 3) เป็นดังนี้

หมวด	ปกติ (tok/s)	MTP (tok/s)	เร็วขึ้น
coding	28.27	41.91	1.48x
rag	27.96	46.48	1.66x
multilingual	28.69	48.05	1.67x
รวม (24 prompt)	28.36	43.88	1.55x

อัตรายอมรับ draft เฉลี่ยอยู่ที่ 0.64 นอกจากนี้ยังลดหน่วยความจำที่ indexer ใช้เก็บคะแนนลงครึ่งหนึ่ง (#29825) และเพิ่ม llama_prefetch_rows() ที่ใช้ madvise prefetch tensor แบบ PLE ให้ Qwen4Exp กับ Gemma4 ใครที่ลองรันโมเดลนี้ตามกระแส Strata หรือเพิ่งซื้อ DGX Spark ควรอัปเกรดเป็นรุ่นนี้

Metal: Mac รุ่น M1–M4 รัน speculative decoding ได้คุ้มแล้ว

ปัญหาเดิมคือ speculative decoding ต้องตรวจ draft หลายโทเคนพร้อมกัน แต่บน Apple GPU ที่ไม่มี tensor API (M1 ถึง M4) Metal ใช้เคอร์เนลแบบ mat-vec ซึ่งใช้เวลาเพิ่มขึ้นตามจำนวนแถว PR #29869 บอกว่าบน M3 Ultra การ decode Qwen3.8-27B ด้วย DFlash2 ช้ากว่าการ decode ทีละโทเคนแบบปกติ PR นี้จึงเพิ่มเคอร์เนล mat-mul สำหรับ 2–16 แถวที่ dequantize น้ำหนักแค่ครั้งเดียวต่อทุกแถว ผลทดสอบบน M3 Ultra (Qwen3.8-27B กับ drafter DFlash2 แบบ Q8_0) เป็นดังนี้

โหมด	prompt	temp	ก่อน (tok/s)	หลัง (tok/s)
ปกติ	code	0	32.1	32.0
DFlash2	code	0	30.2	110.0
DFlash2	prose	0	16.8	62.6
DFlash2	prose	1	13.9	48.8

การ decode แบบปกติเร็วเท่าเดิม ส่วน DFlash2 เร็วขึ้นราว 3.3–3.7 เท่า และ perplexity ไม่เปลี่ยน ใน batched decoding ที่ 8 sequence ความเร็วรวมเพิ่มจาก 38.6 เป็น 119.7 tok/s ส่วน Mac รุ่น M5 ได้เคอร์เนล flash attention ใหม่ที่ใช้ tensor API (#29570) ซึ่งเร็วขึ้น 1.6–2.6 เท่าตอน prefill สำหรับ head size 512/576/192 ผู้เขียน PR #29869 ระบุด้วยว่าเคอร์เนล การทดสอบ และคำอธิบาย PR เขียนด้วย Claude Code

โมเดลใหม่และ breaking change

• GLM-5.3-Flash (GLM5-Next) โมเดล hybrid 320B (KDA 34 ชั้น + DSA 11 ชั้น พร้อม mHC และ MoE แบบ DeepSeek) รองรับทั้งข้อความและภาพแล้ว (#27773)
• Ling 3.0 VL, encoder LFM2.5 และ reranker ที่ใช้ classifier_pooling
• llama_batch_ext + llama_process() (#24669) เป็น batch API ใหม่ที่ส่ง token กับ embedding ปนกันได้ และรองรับ state embedding ต่อโทเคนสำหรับ MTP และ deepstack ตัวอย่าง, server และ mtmd ย้ายมาใช้ API นี้หมดแล้ว รูปแบบไฟล์ session ก็เปลี่ยนเป็น LLAMA_SESSION_VERSION 11 / LLAMA_STATE_SEQ_VERSION 4 ไฟล์ state ที่บันทึกด้วยรุ่นเก่าจึงควรสร้างใหม่
• server: GET /v1/models รายงานว่าโมเดลรับและส่ง modality อะไรได้ในอ็อบเจกต์ architecture และ /v1/embeddings รับอินพุตภาพ เสียง และวิดีโอได้
• Web UI ใหม่ดาวน์โหลดโมเดลจาก Hugging Face Hub ได้โดยตรง และประเมินให้ว่าโมเดลจะใส่หน่วยความจำเครื่องได้หรือไม่

มุมมอง AI Curator

รุ่นนี้แสดงว่าสงครามความเร็วของ local inference ย้ายจาก “เคอร์เนลเร็วขึ้นไม่กี่เปอร์เซ็นต์” มาเป็น speculative decoding ที่ใช้ได้จริงบนทุกฮาร์ดแวร์ MTP บน DGX Spark ให้ 1.55 เท่าโดยไม่ต้องมีโมเดล draft แยก ส่วนบน Mac M1–M4 ที่หลายคนยังใช้อยู่ ความเร็วที่เคยเสียไปกับ DFlash2 ตอนนี้กลับมาได้มากกว่า 3 เท่า สำหรับนักพัฒนาไทยที่รันโมเดลในเครื่องด้วย Mac Studio หรือ MacBook Pro รุ่นเก่า นี่คืออัปเกรดที่ได้ประโยชน์ทันทีโดยไม่ต้องซื้อฮาร์ดแวร์ใหม่

อีกเรื่องที่น่าสังเกตคือ PR ด้านประสิทธิภาพสำคัญ ๆ ใน llama.cpp ระบุกันตรง ๆ แล้วว่าเขียนด้วย AI โปรเจกต์ที่มี AGENTS.md เตือนเรื่องโค้ดจาก AI ยอมรับ PR แบบนี้เพราะมันมาพร้อมตัวเลข benchmark, การทดสอบ test-backend-ops ครบทุกเคส และค่า perplexity ที่ตรวจสอบได้ ใครที่ดูแลโปรเจกต์โอเพนซอร์สในบ้านเราควรใช้มาตรฐานเดียวกัน คือไม่ต้องสนใจว่าใครหรืออะไรเขียน แต่ให้ดูว่าพิสูจน์ได้หรือไม่ ส่วนคนที่ฝัง libllama ในแอปตัวเอง ควรวางแผนย้ายไปใช้ llama_batch_ext เพราะโค้ดฝั่ง upstream ทั้งตัวอย่าง server และ mtmd ย้ายไปใช้ API นี้หมดแล้ว

แหล่งข่าว

• llama.cpp v0.6.0 release notes — GitHub
• PR #29761: Qwen4Exp: add MTP — GitHub
• PR #29869: metal: few-row MMA mat-mul for speculative decoding — GitHub
• PR #27773: add GLM-5.3-Flash (GLM5-Next) support — GitHub