แท็ก

#ggml

6 บทความ

llama.cpp 0.6.0: MTP ทำให้ Qwen3.8-Flash-Next decode เร็วขึ้น 1.55 เท่าบน DGX Spark, Mac รุ่น M1–M4 รัน speculative decoding เร็วขึ้นราว 3.6 เท่า, รองรับ GLM-5.3-Flash และมี breaking change ฝั่ง C API (llama_batch_ext)
เครื่องมือนักพัฒนา

llama.cpp 0.6.0: MTP ทำให้ Qwen3.8-Flash-Next decode เร็วขึ้น 1.55 เท่าบน DGX Spark, Mac รุ่น M1–M4 รัน speculative decoding เร็วขึ้นราว 3.6 เท่า, รองรับ GLM-5.3-Flash และมี breaking change ฝั่ง C API (llama_batch_ext)

llama.cpp ปล่อย v0.6.0 เมื่อ 5 ต.ค. 2026 (ตรงกับ build b11429) เพิ่ม MTP speculative decoding ให้ Qwen3.8-Flash-Next (decode เร็วขึ้นเฉลี่ย 1.55 เท่าบน DGX Spark) เพิ่มเคอร์เนล Metal สำหรับ Mac ที่ยังไม่มี tensor API ทำให้ DFlash2 บน M3 Ultra เร็วขึ้นจาก 30.2 เป็น 110 tok/s รองรับ GLM-5.3-Flash 320B ทั้งข้อความและภาพ และเปลี่ยน C API มาใช้ llama_batch_ext

· อ่าน 5 นาที
llama.cpp b11195 เพิ่ม tiled mul_mat บน CPU — prompt processing ของโมเดล 27B แบบ k-quant เร็วขึ้น 1.9–3.5 เท่าบน x86 แต่ MoE ได้น้อยกว่ามาก และ ARM ยังไม่รองรับ
เครื่องมือนักพัฒนา

llama.cpp b11195 เพิ่ม tiled mul_mat บน CPU — prompt processing ของโมเดล 27B แบบ k-quant เร็วขึ้น 1.9–3.5 เท่าบน x86 แต่ MoE ได้น้อยกว่ามาก และ ARM ยังไม่รองรับ

PR #27851 ของ llama.cpp ถูก merge เมื่อ 26 ก.ย. และออกใน build b11195 เพิ่มเส้นทางคูณเมทริกซ์แบบ tiled บน CPU ที่ unpack ควอนต์ครั้งเดียวต่อไทล์ 256×256 ผลทดสอบของ bartowski บนโมเดล 27B แบบ dense พบ prompt eval เร็วขึ้น 1.9–3.5 เท่า แต่โมเดล MoE 35B-A3B ได้เพียง 1.08–1.53 เท่า ใช้ได้ดีที่สุดบน CPU ที่มี AVX-512 VNNI และยังไม่มีเวอร์ชัน ARM

· อ่าน 4 นาที
llama.cpp 0.5.0 ออกแล้ว + Vulkan int8 สำหรับ AMD RDNA3/4 — prompt processing บน Strix Halo เร็วขึ้นสูงสุด 1.36 เท่า แต่ต้องใช้ build b11160 ขึ้นไป ไม่ได้อยู่ใน 0.5.0
เครื่องมือนักพัฒนา

llama.cpp 0.5.0 ออกแล้ว + Vulkan int8 สำหรับ AMD RDNA3/4 — prompt processing บน Strix Halo เร็วขึ้นสูงสุด 1.36 เท่า แต่ต้องใช้ build b11160 ขึ้นไป ไม่ได้อยู่ใน 0.5.0

llama.cpp ปล่อย v0.5.0 เมื่อ 23 ก.ย. 2026 มาพร้อม ggml 0.25.0 รองรับ HRM-Text (DFM Mimir 1B) และแปลง MiMo-V2.6 ได้ --host ผูกได้หลายแอดเดรสรวมถึง UNIX socket และ function call ส่งภาพกลับได้ อีกหนึ่งวันต่อมา PR Vulkan int8 coopmat สำหรับ AMD RDNA3/RDNA4 ถูก merge ทำให้ pp512 บน Strix Halo เร็วขึ้น 1.06–1.36 เท่า แต่ฟีเจอร์นี้อยู่ใน nightly ตั้งแต่ b11160 ยังไม่อยู่ใน v0.5.0

· อ่าน 4 นาที
Hugging Face ให้ transformers โหลดไฟล์ GGUF ของ llama.cpp ได้ตรง ๆ แล้ว — ยืม kernel ของ ggml มารันบน Mac ได้เร็วใกล้ llama.cpp แต่ตอนนี้ใช้ได้แค่ Apple Silicon กับตระกูล Qwen3.5
เครื่องมือนักพัฒนา

Hugging Face ให้ transformers โหลดไฟล์ GGUF ของ llama.cpp ได้ตรง ๆ แล้ว — ยืม kernel ของ ggml มารันบน Mac ได้เร็วใกล้ llama.cpp แต่ตอนนี้ใช้ได้แค่ Apple Silicon กับตระกูล Qwen3.5

22 ก.ย. Hugging Face ประกาศว่า transformers (ตอนนี้ต้องติดตั้งจาก main) โหลดไฟล์ GGUF แบบ quantize แล้วรันได้เลยผ่าน from_pretrained(gguf_file=...) และ transformers serve โดยเรียก kernel Metal ของ ggml ผ่านไลบรารี kernels บน M2 Max ได้ 70.4 tok/s กับ Qwen3.5-4B Q4_K_M เทียบกับ llama.cpp ที่ 71.8 แต่ยังรองรับแค่ Apple Silicon และสถาปัตยกรรม Qwen3.5/Qwen3.8 และทีมยังแนะนำให้ใช้ llama.cpp ถ้าต้องการความเร็วสูงสุด

· อ่าน 5 นาที
llama.cpp 0.4.0 ออกแล้ว — โหลดเทนเซอร์แบบขี้เกียจลด RAM ได้ 16%, --n-cpu-ffn สำหรับโมเดล dense และ sparse FA ที่เร็วขึ้น 2 เท่าเมื่อคอนเท็กซ์ยาว
เครื่องมือนักพัฒนา

llama.cpp 0.4.0 ออกแล้ว — โหลดเทนเซอร์แบบขี้เกียจลด RAM ได้ 16%, --n-cpu-ffn สำหรับโมเดล dense และ sparse FA ที่เร็วขึ้น 2 เท่าเมื่อคอนเท็กซ์ยาว

llama.cpp ปล่อย v0.4.0 เมื่อ 4 ก.ย. 2026 — เป็นเวอร์ชัน minor ที่สี่ภายใน 18 วัน เพิ่ม --lazy-mode ที่อ่านเทนเซอร์ขนาดใหญ่ผ่าน mmap แทนการโหลดทั้งก้อน (ลด peak RAM 16% แลกกับ tg ช้าลง 8-11%), --n-cpu-ffn สำหรับโมเดล dense และ sparse flash attention ที่ให้ 2.03 เท่าที่คอนเท็กซ์ 524K

· อ่าน 6 นาที
llama.cpp เริ่มออกเวอร์ชันจริงจังแล้ว — v0.1.0 ถึง v0.1.2 ภายใน 24 ชั่วโมง หลังใช้เลข build มาตลอดหลายปี
เครื่องมือนักพัฒนา

llama.cpp เริ่มออกเวอร์ชันจริงจังแล้ว — v0.1.0 ถึง v0.1.2 ภายใน 24 ชั่วโมง หลังใช้เลข build มาตลอดหลายปี

llama.cpp ติดแท็ก v0.1.0 และ v0.1.1 เมื่อ 17 ส.ค. 2026 และออก v0.1.2 พร้อม release note อัตโนมัติเมื่อ 18 ส.ค. — จุดเริ่มต้นของการเลิกให้ผู้ใช้อ้างอิงเลข build แบบ b10485 ที่เปลี่ยนวันละหลายสิบครั้ง แม้จะยังติดสถานะ pre-release อยู่

· อ่าน 5 นาที