แท็ก

#local-llm

22 บทความ

colibri v1.11 รัน DeepSeek-V4.1-Flash 552B บนเครื่อง CPU โดยสตรีม expert จาก SSD ได้ราว 1 โทเคน/วินาที — เอนจินภาษา C 30,000 ดาวที่ยอมช้า แต่ไม่ยอมแอบเปลี่ยนโมเดล
เครื่องมือนักพัฒนา

colibri v1.11 รัน DeepSeek-V4.1-Flash 552B บนเครื่อง CPU โดยสตรีม expert จาก SSD ได้ราว 1 โทเคน/วินาที — เอนจินภาษา C 30,000 ดาวที่ยอมช้า แต่ไม่ยอมแอบเปลี่ยนโมเดล

13 ก.ย. colibri เอนจินอินเฟอเรนซ์ภาษา C ใต้ Apache-2.0 ที่มีดาวบน GitHub กว่า 30,000 ดวง ออก v1.11.0 ที่เพิ่ม DeepSeek-V4.1-Flash 552B เป็นตระกูลที่เก้า อ่าน checkpoint 510 GB ตรง ๆ โดยไม่ต้องแปลง ตารางวัดแบบ cold ในเอกสารแสดงว่าเทิร์นหนึ่งเร็วขึ้นจาก 0.305 เป็น 0.957 tok/s และแชตห้าเทิร์นได้ 1.14–1.58 tok/s — ทีมยังเขียนบันทึกไว้ด้วยว่าไอเดียไหนวัดแล้วช้าลงจนต้องถอดออก และตัวเลขที่เคยวัดผิดมาจากอะไร

· อ่าน 6 นาที
Edge0 รันโมเดล MoE 35B บน Mac ด้วยหน่วยความจำ 2.9 GiB โดยสตรีม expert จาก SSD — แต่ runtime ตัดจำนวน expert ต่อโทเคนจาก 8 เหลือ 4 และผู้ใช้ M1 วัดได้ช้ากว่าตัวเลขที่ประกาศราว 30 เท่า
เครื่องมือนักพัฒนา

Edge0 รันโมเดล MoE 35B บน Mac ด้วยหน่วยความจำ 2.9 GiB โดยสตรีม expert จาก SSD — แต่ runtime ตัดจำนวน expert ต่อโทเคนจาก 8 เหลือ 4 และผู้ใช้ M1 วัดได้ช้ากว่าตัวเลขที่ประกาศราว 30 เท่า

edge0 เฟรมเวิร์ก Apache-2.0 ที่เปิดตัว 8 ก.ย. และยังติดเทรนด์อันดับ 3 บน Hugging Face รัน Qwen3.5-35B-A3B แบบ 4 บิตบน Mac mini M4 Pro ได้ 14.9–17.7 tok/s โดยใช้หน่วยความจำ 2.9 GiB ด้วยการสตรีม expert จาก SSD, prerouter ที่เดาเส้นทางล่วงหน้า และ LoRA กู้คุณภาพหลัง quantize — แต่ซอร์สโค้ดตั้ง top_k=4 ขณะที่ config ของโมเดลเป็น 8, คะแนนฐาน fp16 ที่รันเองต่ำกว่าตัวเลขทางการของ Qwen และ issue จากผู้ใช้ M1 8 GB วัดรุ่น 8B ได้แค่ 0.7–0.8 tok/s

· อ่าน 7 นาที
"คอมไพล์ด้วยการเทรน" — เขียนสเปกภาษาอังกฤษหนึ่งย่อหน้า ได้ฟังก์ชันที่รันบน Qwen3-0.6B ในเครื่องตัวเอง แม่น 83.6% ใช้เวลาคอมไพล์ 51 วินาที แต่การพึ่งพาผู้ให้บริการไม่ได้หายไป มันย้ายไปอยู่ที่ build time
เครื่องมือนักพัฒนา

"คอมไพล์ด้วยการเทรน" — เขียนสเปกภาษาอังกฤษหนึ่งย่อหน้า ได้ฟังก์ชันที่รันบน Qwen3-0.6B ในเครื่องตัวเอง แม่น 83.6% ใช้เวลาคอมไพล์ 51 วินาที แต่การพึ่งพาผู้ให้บริการไม่ได้หายไป มันย้ายไปอยู่ที่ build time

3 ก.ย. 2026 ทีมจาก University of Waterloo และ Harvard ปล่อยเปเปอร์ compile by training — เปลี่ยนสเปกภาษาธรรมชาติเป็นอะแดปเตอร์ LoRA บนอินเทอร์พรีเตอร์ Qwen3-0.6B ที่ดาวน์โหลดไปรันเองได้ ทำคะแนน 83.6% บน FuzzyBench-Hard จากเดิม 22.4% แต่ตอนคอมไพล์ยังต้องส่งสเปกไปให้บริการโฮสต์และ GPT-5.5 สังเคราะห์ตัวอย่าง

· อ่าน 7 นาที
Ollama 0.34 เสียบโมเดลโลคัลเข้า ChatGPT Desktop — ครบทั้งสามแอปเดสก์ท็อปของค่ายใหญ่ในสี่เดือน โดยไม่มีดีลกับใครสักราย
เครื่องมือนักพัฒนา

Ollama 0.34 เสียบโมเดลโลคัลเข้า ChatGPT Desktop — ครบทั้งสามแอปเดสก์ท็อปของค่ายใหญ่ในสี่เดือน โดยไม่มีดีลกับใครสักราย

Ollama v0.34.0-rc1 ออกเมื่อ 5 ก.ย. 23:49 UTC เพิ่มการเลือกโมเดล Ollama ใน ChatGPT Desktop บน macOS โดยใช้โปรไฟล์ ChatGPT/Codex เดิม ทำให้ plugin, MCP และ skills ที่ตั้งไว้ยังทำงานต่อกับโมเดลเปิดที่รันในเครื่อง — นับรวมแล้วเป็นแอปเดสก์ท็อปตัวที่สามต่อจาก Codex App (พ.ค.) และ Claude Desktop (ส.ค.)

· อ่าน 6 นาที
llama.cpp ยกเครื่อง Hexagon backend เช้านี้ — รัน NPU หลายตัวพร้อมกันบน Snapdragon, ทำงานแบบ async เต็มรูปแบบ และมาพร้อมชุดเครื่องมือ build/run/profile ของตัวเอง
เครื่องมือนักพัฒนา

llama.cpp ยกเครื่อง Hexagon backend เช้านี้ — รัน NPU หลายตัวพร้อมกันบน Snapdragon, ทำงานแบบ async เต็มรูปแบบ และมาพร้อมชุดเครื่องมือ build/run/profile ของตัวเอง

27 ส.ค. 2026 เวลา 01:46 UTC llama.cpp merge PR #26501 ที่รื้อ Hexagon backend ใหม่ทั้งก้อน — แก้ 44 ไฟล์ (+5,314/−3,139) เปิดทางให้กระจายโมเดลข้าม NPU หลายตัวบนชิป Qualcomm IQ9/IQ10 ด้วย tensor-split, เปลี่ยนทั้ง graph-compute/event/tensor-copy เป็น asynchronous, เปลี่ยนชื่ออุปกรณ์เป็นรูปแบบ HTP<physical>:<virtual> และเพิ่มสคริปต์ build.py/run.py พร้อม profiler กับ tracer สำหรับงาน Snapdragon โดยเฉพาะ

· อ่าน 7 นาที
Perplexity ปล่อย Portable Computer — ยก orchestrator, subagent และ agent harness ทั้งชุดลงมารันบนเครื่องตัวเอง จ่ายค่าโทเคนเป็นศูนย์
เครื่องมือนักพัฒนา

Perplexity ปล่อย Portable Computer — ยก orchestrator, subagent และ agent harness ทั้งชุดลงมารันบนเครื่องตัวเอง จ่ายค่าโทเคนเป็นศูนย์

25 ส.ค. 2026 Perplexity เปิด Portable Computer เวอร์ชันโลคอลเต็มรูปแบบของ Perplexity Computer ที่ย้าย orchestrator LLM, subagent LLM และ agent harness ทั้งหมดมารันบน NVIDIA DGX Spark — ทำ Terminal Bench 2.1 ได้ 59.6% โดยไม่เสียค่าโทเคนเลย และ 73.0% ที่ราว $0.415 ต่องานเมื่อยอมให้ยกระดับขึ้นคลาวด์

· อ่าน 7 นาที
FreeToken: เสิร์ฟ GLM-5.2 ขนาด 753B บนการ์ดจอใบเดียวได้ 14.9 tok/s เร็วกว่า llama.cpp เท่าตัว — เพราะเลิกตัดสินใจล่วงหน้าว่าอะไรอยู่บน GPU
เครื่องมือนักพัฒนา

FreeToken: เสิร์ฟ GLM-5.2 ขนาด 753B บนการ์ดจอใบเดียวได้ 14.9 tok/s เร็วกว่า llama.cpp เท่าตัว — เพราะเลิกตัดสินใจล่วงหน้าว่าอะไรอยู่บน GPU

เปเปอร์ FreeToken ขึ้น arXiv เมื่อ 17 ส.ค. 2026 พร้อมโค้ด Apache-2.0 โดยมี Ion Stoica, Matei Zaharia, Song Han และ Kurt Keutzer ร่วมเป็นผู้เขียน — เอ็นจิ้นเสิร์ฟโมเดล MoE ที่วัดแบนด์วิดท์ของเครื่องจริงแล้วแบ่งงานระหว่าง CPU กับ GPU ใหม่ระหว่างรัน ทำให้โน้ตบุ๊ก RTX 4060 8GB รันโมเดล 35B ได้ 39.3 tok/s และเวิร์กสเตชันการ์ดใบเดียวเสิร์ฟ GLM-5.2 753B ได้

· อ่าน 7 นาที
Ornith-1.5: โมเดลโค้ดดิ้งโอเพนเวต MIT ที่ "คิดโจทย์ฝึกให้ตัวเอง" — เรือธง 397B ตีเสมอ Claude Opus 4.8 ส่วนรุ่น 35B ใช้พารามิเตอร์แค่ 3B ต่อโทเคน
โมเดลใหม่

Ornith-1.5: โมเดลโค้ดดิ้งโอเพนเวต MIT ที่ "คิดโจทย์ฝึกให้ตัวเอง" — เรือธง 397B ตีเสมอ Claude Opus 4.8 ส่วนรุ่น 35B ใช้พารามิเตอร์แค่ 3B ต่อโทเคน

ทีม Ornith (DeepReinforce) ปล่อย Ornith-1.5 บน Hugging Face เมื่อ 18 ส.ค. 2026 — ลิขสิทธิ์ MIT ครบสามขนาด 9B / 35B-A3B / 397B พร้อม GGUF, FP8, NVFP4, MLX ในวันเดียว จุดต่างจากรุ่น 1.0 คือลูป self-improvement ขยายจาก "ออกแบบ scaffold เอง" เป็น "คิดโจทย์ฝึกของตัวเองด้วย" เรือธง 397B ทำ Terminal-Bench 2.1 ได้ 86.1 เทียบเท่า Claude Opus 4.8 (85.0)

· อ่าน 7 นาที
Gemma 4 E2B วิ่งบน Raspberry Pi 5 ได้แล้ว — Google เปิดตัวเลขจริง decode 9 โทเคน/วินาที กินแรม 1.4GB ติดตั้งด้วยสองคำสั่ง
เครื่องมือนักพัฒนา

Gemma 4 E2B วิ่งบน Raspberry Pi 5 ได้แล้ว — Google เปิดตัวเลขจริง decode 9 โทเคน/วินาที กินแรม 1.4GB ติดตั้งด้วยสองคำสั่ง

11 ส.ค. 2026 Google ร่วมกับ Raspberry Pi Ltd และ Igalia เผยแพร่คู่มือรัน Gemma บน Raspberry Pi 5 ด้วย LiteRT พร้อมตัวเลขวัดจริง — Gemma 4 E2B ทำ prefill 99 โทเคน/วินาที decode 9 โทเคน/วินาที ใช้แรมสูงสุด 1,432 MB และติดตั้งได้ด้วยคำสั่งเดียวจาก Hugging Face

· อ่าน 5 นาที
NVIDIA ปล่อย Nemotron 3.5 Lightning — MoE 30B active 3B ใบอนุญาต OpenMDW context 1M เร็วเกือบ 670 โทเคน/วินาที
โมเดลใหม่

NVIDIA ปล่อย Nemotron 3.5 Lightning — MoE 30B active 3B ใบอนุญาต OpenMDW context 1M เร็วเกือบ 670 โทเคน/วินาที

11 ส.ค. 2026 NVIDIA เปิดตัว Nemotron 3.5 Lightning โมเดลเปิดตัวแรกของตระกูล 3.5 — hybrid Mamba-2 + MoE ขนาด 30B แต่ activate แค่ 3B, context 1 ล้านโทเคน, ใบอนุญาต OpenMDW-1.1 และทำความเร็วได้เกือบ 670 โทเคน/วินาที เทียบชั้นความฉลาดกับ gpt-oss-120b ที่ใหญ่กว่าราวสี่เท่า

· อ่าน 7 นาที
Meta กลับสู่ open weights — Muse Glimmer 30B ใบอนุญาต Apache 2.0 quantize เหลือ ~20GB รันบนการ์ดจอตัวเดียวได้
โมเดลใหม่

Meta กลับสู่ open weights — Muse Glimmer 30B ใบอนุญาต Apache 2.0 quantize เหลือ ~20GB รันบนการ์ดจอตัวเดียวได้

10 ส.ค. 2026 Meta ปล่อย Muse Glimmer โมเดล agentic 30B พร้อม weights ภายใต้ Apache 2.0 — quantize 4-bit เหลือไม่ถึง 20GB ลงการ์ดจอ 24–32GB ได้ พร้อมเรียงความ 6,500 คำของ Zuckerberg ที่ประกาศกลับมาสายเปิด และบอกว่ารุ่นใหญ่กว่านี้กำลังตามมา

· อ่าน 7 นาที
DeepGrove ปล่อย Maple-Preview โมเดล 20B ที่เทรนเป็น ternary ตั้งแต่ต้น — เคลม 218 tok/s บน Mac mini M4 และเช็คพอยต์ 5.31GB แต่ไฟล์ที่โหลดได้จริงคือ 40.4GB
โมเดลใหม่

DeepGrove ปล่อย Maple-Preview โมเดล 20B ที่เทรนเป็น ternary ตั้งแต่ต้น — เคลม 218 tok/s บน Mac mini M4 และเช็คพอยต์ 5.31GB แต่ไฟล์ที่โหลดได้จริงคือ 40.4GB

DeepGrove เปิด Maple-Preview โมเดล reasoning 20B-A1B ที่ไม่ได้ควอนไทซ์ทีหลังแต่เทรนเป็น ternary มาตั้งแต่แรก ใต้ license MIT — แต่ไฟล์บน Hugging Face เป็น bf16 ขนาด 40.4GB และรันไทม์ที่ทำความเร็ว 218 tok/s บน Apple Silicon ยังไม่ถูกปล่อยออกมา

· อ่าน 6 นาที
Liquid AI ปล่อย LFM2.5-2.6B โมเดล 2.6B ที่เทรนด้วย RL ใน agent harness จริง — เคลมสู้โมเดลใหญ่กว่า 4 เท่าได้เรื่อง tool use แต่ license มีเพดานรายได้ 10 ล้านดอลลาร์
โมเดลใหม่

Liquid AI ปล่อย LFM2.5-2.6B โมเดล 2.6B ที่เทรนด้วย RL ใน agent harness จริง — เคลมสู้โมเดลใหญ่กว่า 4 เท่าได้เรื่อง tool use แต่ license มีเพดานรายได้ 10 ล้านดอลลาร์

Liquid AI เปิดตัว LFM2.5-2.6B (4 ส.ค. 2026) โมเดลบนเครื่องที่ post-train ด้วย agentic RL ใน harness จริงอย่าง OpenClaw — กินแรมต่ำกว่า 2.5GB คอนเท็กซ์ 128K และรันได้ทั้ง llama.cpp/MLX/ONNX/vLLM แต่ต้องอ่าน LFM Open License ให้จบก่อนใช้เชิงพาณิชย์

· อ่าน 6 นาที
WASTE: รัน Kimi K3 ตัวเต็ม 2.78 ล้านล้านพารามิเตอร์บนโน้ตบุ๊ก 64GB ด้วยการสตรีม expert จาก NVMe
เครื่องมือนักพัฒนา

WASTE: รัน Kimi K3 ตัวเต็ม 2.78 ล้านล้านพารามิเตอร์บนโน้ตบุ๊ก 64GB ด้วยการสตรีม expert จาก NVMe

เอนจิน inference ภาษา C ที่ไม่มี dependency ใด ๆ รัน Kimi K3 ตัวเต็ม 2.78T พารามิเตอร์บน MacBook Pro 64GB ได้ที่ 0.49–0.54 tok/s โดยเก็บ trunk 27.28GB ไว้ใน RAM แล้วสตรีม expert ที่เหลือจาก NVMe — ช้ามาก แต่พิสูจน์ว่าโมเดลระดับ frontier ไม่จำเป็นต้องอยู่บนเซิร์ฟเวอร์อีกต่อไป

· อ่าน 7 นาที
TurboFieldfare รัน Gemma 4 26B ด้วย RAM แค่ 2 GB บน MacBook Air 8 GB
เครื่องมือนักพัฒนา

TurboFieldfare รัน Gemma 4 26B ด้วย RAM แค่ 2 GB บน MacBook Air 8 GB

รันไทม์โอเพนซอร์ส Apache-2.0 เขียนด้วย Swift + Metal สตรีม expert ของ Gemma 4 26B-A4B จาก SSD ทีละโทเคน ทำให้โมเดล 26B รันได้บน Mac RAM 8 GB โดยใช้หน่วยความจำราว 2 GB วัดได้ 5.1–6.3 tok/s บน M2 MacBook Air และ 31–35 tok/s บน M5 Pro

· อ่าน 6 นาที
Unsloth รองรับการ์ด AMD แล้ว — เทรน/รันโมเดลบน ROCm เร็วขึ้น 2 เท่า กิน VRAM น้อยลง 70%
เครื่องมือนักพัฒนา

Unsloth รองรับการ์ด AMD แล้ว — เทรน/รันโมเดลบน ROCm เร็วขึ้น 2 เท่า กิน VRAM น้อยลง 70%

Unsloth v0.1.501-beta เพิ่มการรองรับ GPU ของ AMD เต็มรูปแบบเป็นครั้งแรก — เทรนและรัน LLM บนการ์ด Radeon, Instinct (MI300X/MI325X) และ Ryzen ได้ทั้งบน Windows, WSL และ Linux เคลมว่าเร็วขึ้นสูงสุด 2 เท่า ใช้ VRAM น้อยลง 70% โดยไม่เสียความแม่นยำ เปิดทางหลุดจากการผูกขาดของ CUDA

· อ่าน 5 นาที
Ollama เพิ่ม "Skills" ให้ agent ในเครื่อง — SKILL.md แบบเดียวกับ Claude รันได้ออฟไลน์เต็มตัว
AI Skills

Ollama เพิ่ม "Skills" ให้ agent ในเครื่อง — SKILL.md แบบเดียวกับ Claude รันได้ออฟไลน์เต็มตัว

Ollama v0.32.2 เพิ่มระบบ skills ให้ agent ในเครื่อง — ใช้ฟอร์แมต SKILL.md (YAML frontmatter + Markdown) แบบเดียวกับ Anthropic Agent Skills และอ่านโฟลเดอร์ .agents/skills/ ข้ามเครื่องมือได้ หมายความว่า agent skill แบบพกพารันได้ทั้งหมดในเครื่อง ไม่ต้องต่อคลาวด์

· อ่าน 5 นาที
Bonsai 27B: ย่อโมเดล 27B ให้รันบนมือถือได้จริง ด้วยการควอนไทซ์ 1-bit
โมเดลใหม่

Bonsai 27B: ย่อโมเดล 27B ให้รันบนมือถือได้จริง ด้วยการควอนไทซ์ 1-bit

PrismML ปล่อย Bonsai 27B โมเดลมัลติโมดัลจาก Qwen3.6-27B ที่ควอนไทซ์เหลือ 1-bit (3.9GB) และ ternary (5.9GB) — เคลมว่าเป็นโมเดลระดับ 27B ตัวแรกที่รันบน iPhone ได้ (11 tok/s) โดยยังรักษาความสามารถไว้ ~90-95% ของ FP16 แจกฟรี Apache 2.0

· อ่าน 6 นาที
Zed 1.10 เพิ่ม llama.cpp เป็น local model provider — รันโมเดลบนเครื่องตัวเองในเอดิเตอร์ พร้อมย้าย MCP/provider ทั้งหมดเข้า settings editor
เครื่องมือนักพัฒนา

Zed 1.10 เพิ่ม llama.cpp เป็น local model provider — รันโมเดลบนเครื่องตัวเองในเอดิเตอร์ พร้อมย้าย MCP/provider ทั้งหมดเข้า settings editor

Zed 1.10.0 (8 ก.ค. 2026) เพิ่ม llama.cpp เป็น language model provider ในตัว ทำให้รันโมเดลบนเครื่องตัวเองผ่านเอดิเตอร์ได้เลย พร้อมย้าย LLM provider, external agent และ MCP server ทั้งหมดไปอยู่ใน settings editor และปิด format-on-save เป็นค่าเริ่มต้นสำหรับภาษาที่ไม่มี formatter ทางการ

· อ่าน 4 นาที
NVIDIA เปิด Nemotron-Labs-Diffusion โมเดลเปิดที่รันได้ 3 โหมดในตัวเดียว — AR, diffusion และ self-speculation
โมเดลใหม่

NVIDIA เปิด Nemotron-Labs-Diffusion โมเดลเปิดที่รันได้ 3 โหมดในตัวเดียว — AR, diffusion และ self-speculation

NVIDIA ปล่อยงานวิจัยและน้ำหนักโมเดล Nemotron-Labs-Diffusion (3B/8B/14B) โมเดลภาษาแบบเปิดที่ใช้น้ำหนักชุดเดียวรันได้ทั้งแบบ autoregressive, diffusion และ self-speculation — โดยตัวมันเองทำหน้าที่เป็น draft model ให้ตัวเองเพื่อเร่งความเร็ว โดยไม่ต้องมีโมเดลเสริม

· อ่าน 6 นาที
DeepSeek V4 รันบนเครื่องตัวเองได้แล้ว — llama.cpp เพิ่มซัพพอร์ตเต็มรูปแบบ (build b9840) เปิดทางโฮสต์โมเดลโอเพนเวตระดับฟรอนเทียร์แบบ self-host
เครื่องมือนักพัฒนา

DeepSeek V4 รันบนเครื่องตัวเองได้แล้ว — llama.cpp เพิ่มซัพพอร์ตเต็มรูปแบบ (build b9840) เปิดทางโฮสต์โมเดลโอเพนเวตระดับฟรอนเทียร์แบบ self-host

llama.cpp merge ซัพพอร์ต DeepSeek V4 เต็มรูปแบบใน build b9840 (29 มิ.ย. 2026) — แปลงเป็น GGUF, quantize และรัน inference ได้บนเครื่อง Mac/Windows/Linux ทำให้โมเดลโอเพนเวต MoE ระดับฟรอนเทียร์ (V4-Pro 1.6T / V4-Flash 284B) ที่เคยรันได้แค่บนคลาวด์ ขยับมา self-host บนฮาร์ดแวร์ของตัวเองได้จริง

· อ่าน 6 นาที
VibeThinker-3B: โมเดลจิ๋ว 3B ที่ไล่ทันโมเดล 671B บนโจทย์คณิต — รันได้บน GPU เครื่องเดียว
โมเดลใหม่

VibeThinker-3B: โมเดลจิ๋ว 3B ที่ไล่ทันโมเดล 671B บนโจทย์คณิต — รันได้บน GPU เครื่องเดียว

ทีม AI ของ Weibo ปล่อย VibeThinker-3B โมเดลโอเพนเวต MIT ขนาดเพียง 3B ที่ทำคะแนน AIME26 ได้ 94.3 ไล่ทันโมเดลระดับ 671B–1T บนโจทย์คณิต/โค้ดดิ้ง และรันได้บน GPU ผู้บริโภคตัวเดียว แต่จุดอ่อนด้านความรู้ทั่วไปและคำถามเรื่องการตรวจสอบเบนช์มาร์กก็ตามมาด้วย

· อ่าน 6 นาที