แท็ก
42 บทความ
Betelgeuse ฟอร์ก llama.cpp ที่เปิดเมื่อ 31 ต.ค. ดึง expert จาก NVMe เข้า VRAM ตามต้องการ อ้าง 22 tok/s แบบไม่ทิ้ง expert แต่ README เตือนเองว่ายังทดลองและตัวเลขมาจากคนละรอบ วันเดียวกันผู้พัฒนา Basalt เผยผลวัดว่าแฟล็กเร่งความเร็วทำคุณภาพ Q8 ตกไปใกล้ Q2
21 ต.ค. 2026 IBM ปล่อย granite-speech-5.0-2b (Apache-2.0) ที่ IBM ระบุว่าได้ WER ภาษาอังกฤษเฉลี่ย 5.06% อันดับ 2 ในกลุ่มโมเดลเปิดบน Open ASR Leaderboard รองรับ keyword list 2,000 คำ และรันได้บน vLLM, llama.cpp, mlx-audio พร้อมอัปเดต TurboCTC 470M ให้รองรับหลายภาษา และ 4.1-2b-plus ที่ลด timestamp shift ลงกว่าครึ่ง — ทั้งหมดยังไม่รองรับภาษาไทย
21 ต.ค. 2026 Recursive (บริษัทของ Richard Socher ที่ระดมทุน $650M เมื่อ พ.ค.) ปล่อย Flint โมเดล MoE สำหรับ coding agent ขนาด 39.8B พารามิเตอร์ active ~2.5B ใต้ Apache-2.0 จริง มีไฟล์ NVFP4/INT4 ขนาด 22-26GB สำหรับ GPU 48GB หรือ Mac 48GB พร้อม engine rec และ llama.cpp ที่ merge รองรับในวันเดียวกัน SWE-bench Verified 74.2% ชนะ Qwen3.5/3.6 แบบ MoE แต่แพ้ Qwen3.8 แบบ dense ในงานเขียนโค้ด 4 จาก 6 รายการ
ข่าวย้อนหลัง: OpenBMB ปล่อย MiniCPM-V 4.7 เมื่อ 12 ต.ค. 2026 เป็นโมเดลภาพ+ภาษาแบบ MoE 35B (active ~3B) ตัวแรกของซีรีส์ และรุ่น 1B ไลเซนส์ Apache-2.0 โดยใช้ Qwen3.6-35B-A3B เป็นแกนภาษา อ้างว่าทำคะแนนสูงกว่าแกนเดิมในเวลาน้อยกว่า และรันบน iPhone ได้ 13+ tokens/s ด้วยเทคนิค Lookahead Expert Scheduling ที่ตอนนี้มีใน fork llama.cpp-omni เท่านั้น
Meta ปล่อยน้ำหนัก Muse Spark Open เมื่อ 15 ต.ค. 2026 เป็นโมเดล MoE 816B (active 42B, 256 experts เลือก 8) บริบท 1M รับข้อความ ภาพ เสียง และวิดีโอ มีทั้ง BF16 และ NVFP4 รันได้ตั้งแต่วันแรกบน vLLM, SGLang, llama.cpp และ MLX ตารางของ Meta เองแสดงว่านำในงานเอเจนต์บางรายการ แต่ AA Intelligence Index 39 ยังต่ำกว่าโมเดลจีนอย่าง GLM 5.3 (45) และ Kimi K3 (44) ส่วน Muse Model License อนุญาตเชิงพาณิชย์ แต่บังคับแสดง "Built with Muse Spark Open" และให้บริษัทรายได้เกิน $20M ที่ให้บริการโมเดลผ่าน API ต้องทำสัญญาแยก
NVIDIA ปล่อย Nemotron 3.5 Bolt 74B-A9B 24GB เมื่อ 15 ต.ค. 2026 เป็นโมเดลภาพ+ข้อความแบบ Mamba-Transformer MoE ที่บีบอัดจาก Nemotron 3.5 Super VL 120B-A12B แล้ว quantize experts เป็น IQ2_XXS (2.06 บิต) จนน้ำหนักเหลือ 24GB บริบท 256K ไลเซนส์ OpenMDW-1.1 คะแนนนำ Qwen3.6-35B-A3B และ Gemma 4 26B-A4B ในงานเอเจนต์หลายรายการ แต่ตาราง NVIDIA เองแสดงว่ายังช้ากว่าทั้งสองตัว และสูตร llama.cpp ที่ให้มาต้องใช้ GPU 32GB ขึ้นไป
Liquid AI อัปโหลดน้ำหนัก LFM2.5-24B-A2B ขึ้น Hugging Face เมื่อ 12 ต.ค. และเปิดบล็อก 13 ต.ค. เป็นโมเดล MoE 24B (active 2.45B) แบบคิดก่อนตอบเสมอ บริบท 131K รองรับภาษาไทย ทำคะแนนนำ Qwen3.6-35B-A3B ใน AutomationBench, LiveClaw, ToolSandbox และ IFBench แต่แพ้ชัดใน SWE-bench Verified (51.0 vs 66.2) และ GPQA ไฟล์ GGUF Q4_K_M ขนาด 14.5 GB ใช้ฟรีเชิงพาณิชย์ได้เฉพาะองค์กรรายได้ต่ำกว่า $10M ต่อปี
9–10 ต.ค. 2026 Nace.AI เปิดน้ำหนัก Drex v1.5 decision model 8.95B (ฐาน MiMo-V2.6-Distill-Qwen-9B) ที่ Nace รันเองได้ 58.08 บน Decision Index 0.3.1 ชุด public สูสี Jev ของ TypeSafe (57.96) ใช้ API แบบ /v1/systemone เดียวกัน และรันบน llama.cpp/Ollama ได้ แต่ไลเซนส์ Open RAIL-M ฉบับดัดแปลงห้ามบริษัทที่มีรายได้หรือเงินระดมทุนเกิน $1M และบริษัทที่ทำ decision model แข่ง ใช้เชิงพาณิชย์โดยไม่ซื้อไลเซนส์แยก
Underdog ปล่อย Saluki 27B 1.0 (Apache-2.0) เวอร์ชัน 2-bit ของ Qwen3.8-27B ขนาด 7.89 GB จากเดิมราว 54 GB รันบน llama.cpp ตัวมาตรฐานได้เลย ในชุดทดสอบ tool calling 120 ข้อที่บริษัทคัดจาก BFCL v4 ทำได้ 88 ข้อ สูงกว่าโมเดลเต็ม (84) แต่ SWE-bench Verified 50 ข้อแก้ได้ 30 เทียบกับ 33 และคะแนน AIME ลดจากราว 95 เหลือราว 80
JetBrains ปล่อย Mellum2.1 Thinking (8 ต.ค.) โมเดล MoE 12B ที่ใช้งานจริงแค่ 2.5B ต่อโทเคน ไลเซนส์ Apache-2.0 สถาปัตยกรรมเหมือน Mellum2 แต่เน้น RL ในรีโปจริงจน SWE-bench Verified ขึ้นจาก 2.0 เป็น 47.0 (Qwen3.5-9B ได้ 50.0) บล็อกบอกว่า GGUF 'มาเร็วๆ นี้' แต่ repo GGUF ทางการขึ้น Hugging Face แล้ว Q4_K_M 8.1 GB
llama.cpp ปล่อย v0.6.0 เมื่อ 5 ต.ค. 2026 (ตรงกับ build b11429) เพิ่ม MTP speculative decoding ให้ Qwen3.8-Flash-Next (decode เร็วขึ้นเฉลี่ย 1.55 เท่าบน DGX Spark) เพิ่มเคอร์เนล Metal สำหรับ Mac ที่ยังไม่มี tensor API ทำให้ DFlash2 บน M3 Ultra เร็วขึ้นจาก 30.2 เป็น 110 tok/s รองรับ GLM-5.3-Flash 320B ทั้งข้อความและภาพ และเปลี่ยน C API มาใช้ llama_batch_ext
Strata (MIT) คือตัวติดตั้งคลิกเดียวพร้อมเอนจินที่แตกโมเดล MoE Qwen3.8-Flash-Next 125B ไปไว้บน GPU, RAM และ SSD ให้รันได้บนการ์ด 12 GB กับ RAM 32–64 GB โดย README วัดได้ 94 tok/s บน RTX 5070 และเปิด API แบบ OpenAI/Anthropic ให้ Claude Code หรือ Codex ใช้ได้ทันที โพสต์บน Hacker News เมื่อ 4 ต.ค. ได้ 569 คะแนน แต่ความเร็วนี้แลกมากับควอนต์ 2–3 บิต และมีผู้ทดสอบพบว่างานด้านภาพแม่นยำแย่กว่า llama.cpp ราว 3 เท่า
2 ต.ค. 2026 llama.cpp merge endpoint /v1/systemone ซึ่งใช้รูปแบบ System One เดียวกับ Jev ของ TypeSafe มี GGUF ให้ 5 ตัว (Julia-1, Laya, Kev-4B, lev, OpenJev) และ Clef ตามมาบน master ในวันที่ 3 ต.ค. วันเดียวกัน SGLang v0.5.21 ออก /v1/decisions ที่อ่านความน่าจะเป็นของคำตอบจาก chat model ทั่วไปได้โดยตรง พร้อม route /v1/systemone ที่เข้ากันได้กับ SDK ของ TypeSafe
30 ก.ย. 2026 Magnitude (YC S25) เปิดตัวบน Hacker News ในฐานะ inference engine แบบ Apache-2.0 เขียนด้วย Rust ที่จูนพารามิเตอร์ของ kernel บนเครื่องผู้ใช้ราว 1 นาทีต่อโมเดล อ้างว่าถอดรหัสเร็วกว่า llama.cpp 92% บน M4 Pro และ 19% บน DGX Spark แต่ทดสอบกับ Qwen3.6 35B-A3B เพียงตัวเดียว รองรับแค่ 15 โมเดลในแคตตาล็อก และยังไม่รองรับหลาย GPU
PR #27851 ของ llama.cpp ถูก merge เมื่อ 26 ก.ย. และออกใน build b11195 เพิ่มเส้นทางคูณเมทริกซ์แบบ tiled บน CPU ที่ unpack ควอนต์ครั้งเดียวต่อไทล์ 256×256 ผลทดสอบของ bartowski บนโมเดล 27B แบบ dense พบ prompt eval เร็วขึ้น 1.9–3.5 เท่า แต่โมเดล MoE 35B-A3B ได้เพียง 1.08–1.53 เท่า ใช้ได้ดีที่สุดบน CPU ที่มี AVX-512 VNNI และยังไม่มีเวอร์ชัน ARM
Liquid AI เปิด DSpark drafter สำหรับโมเดลภาพ LFM2.5-VL-3B เมื่อ 24 ก.ย. 2026 ขนาด 280M (เพิ่มหน่วยความจำ 8.9%) ถอดรหัสเร็วขึ้น 2.30–3.13 เท่าบน M5 Max ผ่าน MLX และ 1.57–2.14 เท่าบน M3 Ultra ผ่าน llama.cpp โดยผลลัพธ์ไม่เปลี่ยน รองรับตั้งแต่วันแรกทั้ง llama.cpp, MLX-VLM และ SGLang เพราะ PR ถูก merge ครบแล้ว แต่ใบอนุญาตยังมีเพดานรายได้ 10 ล้านดอลลาร์ ไม่ใช่ "ไม่มีข้อจำกัด" อย่างที่บล็อกเขียน
llama.cpp ปล่อย v0.5.0 เมื่อ 23 ก.ย. 2026 มาพร้อม ggml 0.25.0 รองรับ HRM-Text (DFM Mimir 1B) และแปลง MiMo-V2.6 ได้ --host ผูกได้หลายแอดเดรสรวมถึง UNIX socket และ function call ส่งภาพกลับได้ อีกหนึ่งวันต่อมา PR Vulkan int8 coopmat สำหรับ AMD RDNA3/RDNA4 ถูก merge ทำให้ pp512 บน Strix Halo เร็วขึ้น 1.06–1.36 เท่า แต่ฟีเจอร์นี้อยู่ใน nightly ตั้งแต่ b11160 ยังไม่อยู่ใน v0.5.0
BottleCap AI ปล่อย ThinkingCap-Qwen3.8-27B (บล็อก 22 ก.ย., ขึ้น Hugging Face 23 ก.ย.) ใช้โทเคนคิดน้อยลงเฉลี่ย 37.2% จาก 12 benchmark โดยความแม่นเฉลี่ยลดจาก 86.65% เหลือ 85.79% มีทั้ง GGUF, FP8, NVFP4 และ MLX แต่ใช้ใบอนุญาต PolyForm Small Business องค์กรที่มีคนตั้งแต่ 100 คนหรือรายได้ถึงเกณฑ์ต้องซื้อไลเซนส์
22 ก.ย. Hugging Face ประกาศว่า transformers (ตอนนี้ต้องติดตั้งจาก main) โหลดไฟล์ GGUF แบบ quantize แล้วรันได้เลยผ่าน from_pretrained(gguf_file=...) และ transformers serve โดยเรียก kernel Metal ของ ggml ผ่านไลบรารี kernels บน M2 Max ได้ 70.4 tok/s กับ Qwen3.5-4B Q4_K_M เทียบกับ llama.cpp ที่ 71.8 แต่ยังรองรับแค่ Apple Silicon และสถาปัตยกรรม Qwen3.5/Qwen3.8 และทีมยังแนะนำให้ใช้ llama.cpp ถ้าต้องการความเร็วสูงสุด
19 ก.ย. 2026 halogen-flash-server ออก 0.12.0 — เอนจิน inference ที่เขียนเคอร์เนลเฉพาะ AMD Strix Halo (gfx1151) กับ Qwen3.8-Flash-Next เท่านั้น รอบนี้รื้อสองเคอร์เนลของ sparse-attention indexer ทำให้พรอมต์ 1,004,581 โทเคน prefill เหลือ 17.9 นาทีและ decode 38 tok/s โดยเอาต์พุตยังเหมือนเดิมบิตต่อบิต — แต่เอนจินเป็นไบนารีปิดใต้ EULA ไม่ใช่โอเพนซอร์ส
17 ก.ย. 2026 นักวิจัย Harvard เผยแพร่เปเปอร์ที่แสดงว่าโมเดลสามารถ fingerprint เอนจิน inference ที่รันตัวเองได้ด้วยความแม่นยำ 95% ขึ้นไป โดยอาศัยความต่างของ template และ tokenizer ระหว่าง vLLM, SGLang, llama.cpp, Ollama และ TensorRT-LLM แล้วต่อยอดเป็นเชน exploit สามขั้นจาก eval() ใน vLLM ไปถึงการคุมเครื่องระดับ BMC
PrismML ปล่อย Ternary Bonsai 2 27B เมื่อ 17 ก.ย. 2026 — เอา Qwen3.8-27B มาบีบเป็น ternary ทั้งโมเดลที่ 1.72 บิตต่อน้ำหนัก เหลือไฟล์ 5.95GB (เล็กกว่า FP16 ราว 9 เท่า) แต่ยังทำคะแนนเฉลี่ย 84.78 จาก 14 เบนช์มาร์กโหมดคิด = 98.2% ของ FP16 แจก Apache 2.0 แต่มีเงื่อนไขสำคัญ: ต้องใช้ llama.cpp ฉบับ fork ของ PrismML เท่านั้น
เปเปอร์ที่ขึ้น arXiv เมื่อ 14 ก.ย. 2026 วัดการกระจายสัญลักษณ์จริงของโมเดล ternary 29 ตัว พบว่าน้ำหนักเป็นศูนย์มากถึง 51.5% จึงเสนอ BITCOS ซึ่งเป็นเลย์เอาต์แบบ bitmap + sign vector ที่กินพื้นที่ 2−z บิตต่อน้ำหนัก ชนะการแพ็กแบบ five-trit ใน 26 จาก 29 โมเดล ลงต่ำสุดที่ 1.485 บิต และดัน decode throughput ขึ้น 1.18 เท่าบน CPU กับ 1.27 เท่าบน GPU
llama.cpp ปล่อย v0.4.0 เมื่อ 4 ก.ย. 2026 — เป็นเวอร์ชัน minor ที่สี่ภายใน 18 วัน เพิ่ม --lazy-mode ที่อ่านเทนเซอร์ขนาดใหญ่ผ่าน mmap แทนการโหลดทั้งก้อน (ลด peak RAM 16% แลกกับ tg ช้าลง 8-11%), --n-cpu-ffn สำหรับโมเดล dense และ sparse flash attention ที่ให้ 2.03 เท่าที่คอนเท็กซ์ 524K
Artificial Analysis เปิดหมวดเบนช์มาร์กใหม่เมื่อ 24 ส.ค. 2026 สำหรับโมเดลที่รันบนมือถือได้จริง วัดทั้งความฉลาดและความเร็วบน iPhone 17 Pro และ Galaxy S26 Ultra ด้วยบิลด์ควอนไทซ์ 4-bit ตัวเดียวกัน — และผลออกมาว่าคะแนนความฉลาดอย่างเดียวเลือกโมเดลลงมือถือไม่ได้ ต้องดูคู่กับเวลาและแรม
27 ส.ค. 2026 เวลา 01:46 UTC llama.cpp merge PR #26501 ที่รื้อ Hexagon backend ใหม่ทั้งก้อน — แก้ 44 ไฟล์ (+5,314/−3,139) เปิดทางให้กระจายโมเดลข้าม NPU หลายตัวบนชิป Qualcomm IQ9/IQ10 ด้วย tensor-split, เปลี่ยนทั้ง graph-compute/event/tensor-copy เป็น asynchronous, เปลี่ยนชื่ออุปกรณ์เป็นรูปแบบ HTP<physical>:<virtual> และเพิ่มสคริปต์ build.py/run.py พร้อม profiler กับ tracer สำหรับงาน Snapdragon โดยเฉพาะ
เปเปอร์ FreeToken ขึ้น arXiv เมื่อ 17 ส.ค. 2026 พร้อมโค้ด Apache-2.0 โดยมี Ion Stoica, Matei Zaharia, Song Han และ Kurt Keutzer ร่วมเป็นผู้เขียน — เอ็นจิ้นเสิร์ฟโมเดล MoE ที่วัดแบนด์วิดท์ของเครื่องจริงแล้วแบ่งงานระหว่าง CPU กับ GPU ใหม่ระหว่างรัน ทำให้โน้ตบุ๊ก RTX 4060 8GB รันโมเดล 35B ได้ 39.3 tok/s และเวิร์กสเตชันการ์ดใบเดียวเสิร์ฟ GLM-5.2 753B ได้
20 ส.ค. 2026 Liquid AI ปล่อยโมเดล draft สำหรับ speculative decoding ของ LFM2.5 สามขนาด แต่ละตัวราว 300M พารามิเตอร์ — ทำ throughput บน H100 ขึ้นได้ถึง 2.67 เท่า (323→864 tok/s) บน MacBook M4 Max 2.27 เท่า และลด latency การเรียกฟังก์ชันลง 57% โดยเอาต์พุตไม่เปลี่ยนเลย
19 ส.ค. 2026 Liquid AI ปล่อยเช็คพอยต์ QAD Q4_0 ของ LFM2.5 ทั้งสี่ขนาด (230M / 350M / 1.2B-Instruct / 2.6B) ที่ได้จากการ distill โมเดลครูความละเอียดสูงลงเป็น student แบบ quantized โดยตรง — คงคะแนนเฉลี่ยได้ 96.5–97.4% ของ BF16 พร้อมความเร็ว decode ที่เหนือกว่า quant format คุณภาพเทียบเท่า 3–33%
Unsloth ปล่อย Dynamic 3.0 GGUF ชุดแรกสำหรับ Qwen3.8-27B เมื่อ 19 ส.ค. 2026 อ้างความแม่นยำสูงกว่าผู้ให้บริการรายอื่นเกิน 10% ที่ขนาดไฟล์เท่ากัน และมีรุ่น 1-bit ขนาด 6.2GB ที่ยังคงความแม่นยำราว 72% — แต่ส่วนที่น่าสนใจกว่าคือ Unsloth ออกแบบเบนช์มาร์กใหม่ Divergence-300 พร้อมบอกเองว่าตัวเลขที่วงการใช้กันมาตลอดนั้นวัดคุณภาพจริงไม่ได้
llama.cpp ติดแท็ก v0.1.0 และ v0.1.1 เมื่อ 17 ส.ค. 2026 และออก v0.1.2 พร้อม release note อัตโนมัติเมื่อ 18 ส.ค. — จุดเริ่มต้นของการเลิกให้ผู้ใช้อ้างอิงเลข build แบบ b10485 ที่เปลี่ยนวันละหลายสิบครั้ง แม้จะยังติดสถานะ pre-release อยู่
Hugging Face เผยแพร่รายงานสรุปสถานะโมเดลเปิดครึ่งปี 2026 เมื่อ 14 ส.ค. — ข้อมูลจาก Hub เองชี้ว่าแล็บจีนครองโมเดลขนาดใหญ่และเปิดไลเซนส์กว้างกว่าแล็บอเมริกันชัดเจน ขณะที่ยอดดาวน์โหลดจริง 83% ยังไปที่โมเดลต่ำกว่า 1B
PR #26185 ถูกเมิร์จเข้า llama.cpp main เมื่อ 15 ส.ค. 2026 และออกเป็นบิลด์ b10448 ทำให้ Kimi K3 ขนาด 2.8 ล้านล้านพารามิเตอร์รันบนเครื่องตัวเองได้โดยไม่ต้องใช้ fork — แต่ตัวเลขจริงคือแรม 466 GB ขั้นต่ำ และความเร็วราว 3 โทเค็น/วินาที
Alibaba ปล่อยน้ำหนัก Qwen3.8-27B คืนวันที่ 14 ส.ค. 2026 — ต่างจากรุ่น 2.4T ที่เปิดแบบตัดฟีเจอร์ รุ่นนี้ได้ vision เต็ม คอนเท็กซ์ 262K ไลเซนส์ Apache-2.0 มาตรฐาน และ GGUF 4-bit ขนาด 17.1 GB ที่ลง GPU คอนซูเมอร์ตัวเดียวได้จริง
Liquid AI ปล่อย LFM2.5-VL-3B เมื่อ 12 ส.ค. 2026 โมเดลภาษา-ภาพ 3.1B ที่กินหน่วยความจำราว 3GB รันได้บน Galaxy S26 Ultra ที่ 20 โทเค็น/วินาที จุดเด่นคือความเข้าใจหน้าจอและ UI กับการ grounding ที่ทำคะแนน ScreenSpot 78-82% และ DocVQA 91.1%
Alibaba อัปโหลดน้ำหนัก Qwen3.8-2.4T-A95B ขึ้น Hugging Face เมื่อ 12 ส.ค. 2026 ตอบสามคำถามที่ค้างมาตั้งแต่ต้นเดือน: active params 95B, ไลเซนส์เป็นสัญญาเฉพาะของ Qwen ไม่ใช่ Apache-2.0 และมีตาราง benchmark แล้ว แต่รุ่นเปิดเป็นโมเดลข้อความล้วน ไม่ใช่ multimodal เหมือนที่ขายผ่าน API
10 ส.ค. 2026 Meta ปล่อย Muse Glimmer โมเดล agentic 30B พร้อม weights ภายใต้ Apache 2.0 — quantize 4-bit เหลือไม่ถึง 20GB ลงการ์ดจอ 24–32GB ได้ พร้อมเรียงความ 6,500 คำของ Zuckerberg ที่ประกาศกลับมาสายเปิด และบอกว่ารุ่นใหญ่กว่านี้กำลังตามมา
Mistral เปิดตัว Shieldstral 1.0 (4 ส.ค.) โมเดลจัดประเภทความปลอดภัย 3B แบบ multimodal ใบอนุญาต Apache 2.0 รันได้บน GPU 16GB ใบเดียว — เปลี่ยนงาน moderation เป็นคำถาม yes/no ข้อเดียว ทำให้ผู้ใช้เขียนนโยบายเป็นภาษาคนส่งเข้าไปตอนเรียกใช้ได้เลย และยังชนะโมเดล guardrail ที่ใหญ่กว่าเกือบ 7 เท่า
WebBrain เป็น browser agent โอเพนซอร์ส (MIT) สำหรับ Chrome และ Firefox ที่อ่านหน้าเว็บ ดึงข้อมูล และทำงานหลายขั้นตอนอัตโนมัติได้ — จุดต่างคือรันบนโมเดลโลคัลผ่าน llama.cpp เป็นค่าเริ่มต้น ไม่ต้องมี API key ข้อมูลไม่ออกจากเครื่อง และมีโหมด Ask (อ่านอย่างเดียว) แยกจาก Act (ลงมือทำ)
llama.cpp build b9850 (30 มิ.ย. 2026) เพิ่มการรองรับสถาปัตยกรรม qwen3next — เปิดทางให้ตระกูล Qwen3-Next แบบ hybrid (Gated DeltaNet + MoE เบาบางมาก, active เพียง 3B จาก 80B) รันบน CPU และ GPU ผู้บริโภคผ่านระบบนิเวศ GGUF ได้
Liquid AI เปิดเวต LFM2.5-230M โมเดลจิ๋ว 230 ล้านพารามิเตอร์ที่ออกแบบมาเพื่อ tool use และดึงข้อมูลบนอุปกรณ์ปลายทาง — ทำได้ 213 โทเคน/วินาทีบน Galaxy S25 Ultra, 42 โทเคน/วินาทีบน Raspberry Pi 5 และทำคะแนนดึงข้อมูลชนะ Qwen3.5-0.8B และ Gemma 3 1B ที่ตัวใหญ่กว่า
llama.cpp ผสาน PR #22673 เพิ่ม Multi-Token Prediction (MTP) speculative decoding เข้า master ทำให้โมเดลทำนายหลายโทเคนต่อรอบ เร่ง throughput เกิน 2 เท่าบนฮาร์ดแวร์ผู้บริโภค และส่งผลต่อทั้งระบบนิเวศที่สร้างบน llama.cpp