แท็ก

#quantization

27 บทความ

Underdog Saluki 27B: บีบ Qwen3.8-27B เหลือไฟล์ GGUF 2-bit ขนาด 7.89 GB รันบน llama.cpp ปกติ ทำ tool calling ได้ 88/120 สูงกว่าโมเดลเต็ม (84) แต่คณิตศาสตร์ตกเหลือราว 82–85%
โมเดลใหม่

Underdog Saluki 27B: บีบ Qwen3.8-27B เหลือไฟล์ GGUF 2-bit ขนาด 7.89 GB รันบน llama.cpp ปกติ ทำ tool calling ได้ 88/120 สูงกว่าโมเดลเต็ม (84) แต่คณิตศาสตร์ตกเหลือราว 82–85%

Underdog ปล่อย Saluki 27B 1.0 (Apache-2.0) เวอร์ชัน 2-bit ของ Qwen3.8-27B ขนาด 7.89 GB จากเดิมราว 54 GB รันบน llama.cpp ตัวมาตรฐานได้เลย ในชุดทดสอบ tool calling 120 ข้อที่บริษัทคัดจาก BFCL v4 ทำได้ 88 ข้อ สูงกว่าโมเดลเต็ม (84) แต่ SWE-bench Verified 50 ข้อแก้ได้ 30 เทียบกับ 33 และคะแนน AIME ลดจากราว 95 เหลือราว 80

· อ่าน 5 นาที
llama.cpp b11195 เพิ่ม tiled mul_mat บน CPU — prompt processing ของโมเดล 27B แบบ k-quant เร็วขึ้น 1.9–3.5 เท่าบน x86 แต่ MoE ได้น้อยกว่ามาก และ ARM ยังไม่รองรับ
เครื่องมือนักพัฒนา

llama.cpp b11195 เพิ่ม tiled mul_mat บน CPU — prompt processing ของโมเดล 27B แบบ k-quant เร็วขึ้น 1.9–3.5 เท่าบน x86 แต่ MoE ได้น้อยกว่ามาก และ ARM ยังไม่รองรับ

PR #27851 ของ llama.cpp ถูก merge เมื่อ 26 ก.ย. และออกใน build b11195 เพิ่มเส้นทางคูณเมทริกซ์แบบ tiled บน CPU ที่ unpack ควอนต์ครั้งเดียวต่อไทล์ 256×256 ผลทดสอบของ bartowski บนโมเดล 27B แบบ dense พบ prompt eval เร็วขึ้น 1.9–3.5 เท่า แต่โมเดล MoE 35B-A3B ได้เพียง 1.08–1.53 เท่า ใช้ได้ดีที่สุดบน CPU ที่มี AVX-512 VNNI และยังไม่มีเวอร์ชัน ARM

· อ่าน 4 นาที
llama.cpp 0.4.0 ออกแล้ว — โหลดเทนเซอร์แบบขี้เกียจลด RAM ได้ 16%, --n-cpu-ffn สำหรับโมเดล dense และ sparse FA ที่เร็วขึ้น 2 เท่าเมื่อคอนเท็กซ์ยาว
เครื่องมือนักพัฒนา

llama.cpp 0.4.0 ออกแล้ว — โหลดเทนเซอร์แบบขี้เกียจลด RAM ได้ 16%, --n-cpu-ffn สำหรับโมเดล dense และ sparse FA ที่เร็วขึ้น 2 เท่าเมื่อคอนเท็กซ์ยาว

llama.cpp ปล่อย v0.4.0 เมื่อ 4 ก.ย. 2026 — เป็นเวอร์ชัน minor ที่สี่ภายใน 18 วัน เพิ่ม --lazy-mode ที่อ่านเทนเซอร์ขนาดใหญ่ผ่าน mmap แทนการโหลดทั้งก้อน (ลด peak RAM 16% แลกกับ tg ช้าลง 8-11%), --n-cpu-ffn สำหรับโมเดล dense และ sparse flash attention ที่ให้ 2.03 เท่าที่คอนเท็กซ์ 524K

· อ่าน 6 นาที
SGLang v0.5.19 ออกเช้านี้ — 786 PR, beam search ที่ยังใช้ร่วมกับ spec decoding ไม่ได้, radix tree รวมเป็นดีฟอลต์ และคู่มือรันโมเดลใหญ่บนการ์ดใบเดียว
เครื่องมือนักพัฒนา

SGLang v0.5.19 ออกเช้านี้ — 786 PR, beam search ที่ยังใช้ร่วมกับ spec decoding ไม่ได้, radix tree รวมเป็นดีฟอลต์ และคู่มือรันโมเดลใหญ่บนการ์ดใบเดียว

SGLang ปล่อย v0.5.19 เมื่อ 5 ก.ย. 2026 เวลา 02:27 UTC รวม 786 PR จากผู้ร่วมพัฒนา 214 คน — เพิ่ม beam search, ทำ unified radix tree เป็นดีฟอลต์ของทุกโมเดล, เร่ง decode บน AMD MI355X ได้ถึง 1.52 เท่า และเพิ่มคู่มือรัน MiniMax-H3 บน GPU 24 GB กับ Qwen3.8-27B บน RTX 5090 แต่มี breaking change 14 ข้อที่ต้องอ่านก่อนอัป

· อ่าน 7 นาที
Artificial Analysis เปิดกระดานวัดโมเดลบนมือถือจริง ร่วมกับ Liquid AI — LFM2.5-2.6B ได้คะแนนเท่า Nanbeige4.2-3B ที่ 63 แต่เร็วกว่า 2.7 เท่าและกินแรม 2.3 GB
เครื่องมือนักพัฒนา

Artificial Analysis เปิดกระดานวัดโมเดลบนมือถือจริง ร่วมกับ Liquid AI — LFM2.5-2.6B ได้คะแนนเท่า Nanbeige4.2-3B ที่ 63 แต่เร็วกว่า 2.7 เท่าและกินแรม 2.3 GB

Artificial Analysis เปิดหมวดเบนช์มาร์กใหม่เมื่อ 24 ส.ค. 2026 สำหรับโมเดลที่รันบนมือถือได้จริง วัดทั้งความฉลาดและความเร็วบน iPhone 17 Pro และ Galaxy S26 Ultra ด้วยบิลด์ควอนไทซ์ 4-bit ตัวเดียวกัน — และผลออกมาว่าคะแนนความฉลาดอย่างเดียวเลือกโมเดลลงมือถือไม่ได้ ต้องดูคู่กับเวลาและแรม

· อ่าน 5 นาที
Liquid AI เปิดซอร์ส Pipette — เบนช์มาร์กที่วัด 'โมเดล + ควอนต์ + รันไทม์ + เครื่อง' เป็นก้อนเดียว เพราะแยกวัดทีละอย่างมันโกหก
เครื่องมือนักพัฒนา

Liquid AI เปิดซอร์ส Pipette — เบนช์มาร์กที่วัด 'โมเดล + ควอนต์ + รันไทม์ + เครื่อง' เป็นก้อนเดียว เพราะแยกวัดทีละอย่างมันโกหก

25 ส.ค. 2026 Liquid AI เปิดซอร์ส Pipette ใต้ Apache-2.0 — แพลตฟอร์มเบนช์มาร์กที่ไม่วัดโมเดลแบบลอย ๆ แต่วัดทั้งชุด โมเดล+ควอนต์+รันไทม์+ฮาร์ดแวร์ ครอบคลุม llama.cpp, MLX, OpenVINO, vLLM และ SGLang พร้อมแอป iOS/Android ที่รันวัดบนเครื่องจริง และลีดเดอร์บอร์ดสาธารณะที่ Artificial Analysis ตรวจสอบวิธีการให้

· อ่าน 6 นาที
Quantization-Aware Healing: กลั่นความรู้จากโมเดลต้นฉบับ ไม่ใช่จากซากที่บีบแล้ว — สูตรที่ทำให้โมเดล 4-bit ชนะรุ่น bf16 ของตัวเองใน 7 จาก 9 เบนช์มาร์ก
งานวิจัย

Quantization-Aware Healing: กลั่นความรู้จากโมเดลต้นฉบับ ไม่ใช่จากซากที่บีบแล้ว — สูตรที่ทำให้โมเดล 4-bit ชนะรุ่น bf16 ของตัวเองใน 7 จาก 9 เบนช์มาร์ก

25 ส.ค. 2026 Multiverse Computing เผยแพร่สูตร Quantization-Aware Healing บนบล็อก Hugging Face — แทนที่จะเทรนโมเดลที่บีบแล้วให้ไล่ตามเช็กพอยต์ bf16 ของตัวเอง ให้กลั่น KL จากโมเดลต้นฉบับก่อนบีบโดยตรง ผลคือรุ่น MXFP4 ชนะรุ่น bf16 ของสถาปัตยกรรมเดียวกันใน 7 จาก 9 เบนช์มาร์ก และเข้าที่ในราว 100 สเต็ป เทียบกับ 700 สเต็ปของ QAT ปกติ

· อ่าน 7 นาที
ทำไมโมเดลที่รันเองถึง "โง่กว่า" ที่เขาโฆษณา — การทดลองวัด logit ทีละตัวชี้ว่าแค่เปลี่ยน attention backend คำตอบก็เปลี่ยน
เครื่องมือนักพัฒนา

ทำไมโมเดลที่รันเองถึง "โง่กว่า" ที่เขาโฆษณา — การทดลองวัด logit ทีละตัวชี้ว่าแค่เปลี่ยน attention backend คำตอบก็เปลี่ยน

22 ส.ค. 2026 โพสต์ทดลองบน Level1Techs วัด logit เต็ม vocabulary ของ Qwen3.6-27B บน RTX PRO 6000 พบว่าแค่สลับ attention backend ใน vLLM โดยไม่แตะอย่างอื่น โทเคนที่โมเดลจะเลือกก็ต่างกันแล้ว ส่วน KV cache แบบ int4 กับ NVFP4 ทำ tool call พังจริงและสั่งคำสั่ง Cisco ผิด โดย NVFP4 แตะ ~50% token flip ที่ context 88k

· อ่าน 8 นาที
โมเดล 125M ที่เล่นเปียโนต่อจากคุณได้บน iPhone — และบทเรียนวิศวกรรมที่ใช้ได้กับโมเดลเล็กทุกตัว: DPO ดันคะแนนจาก 24.5% เป็น 69%
โมเดลใหม่

โมเดล 125M ที่เล่นเปียโนต่อจากคุณได้บน iPhone — และบทเรียนวิศวกรรมที่ใช้ได้กับโมเดลเล็กทุกตัว: DPO ดันคะแนนจาก 24.5% เป็น 69%

20 ส.ค. 2026 Simon Edwardsson เผยแพร่รายละเอียดการเทรนโมเดล transformer 125M พารามิเตอร์ที่เล่นเปียโนต่อจากผู้ใช้แบบเรียลไทม์บน iPhone ผ่าน Core ML แบบ INT8 ที่ราว 108 โน้ตต่อวินาที — พร้อมบทเรียนที่ใช้ได้กับโมเดลเล็กทุกตัว ตั้งแต่การออกแบบ tokenization ไปจนถึง DPO ที่ดันคะแนน preference จาก 24.55% เป็น 69.05%

· อ่าน 7 นาที
Liquid AI ปล่อย QAD Q4_0 GGUF ของ LFM2.5 ทั้ง 4 ขนาด — เทรน student ให้เป็น 4-bit ตั้งแต่แรก ได้คุณภาพเท่า quant ที่ใหญ่กว่าแต่วิ่งเร็วกว่า 3–33%
โมเดลใหม่

Liquid AI ปล่อย QAD Q4_0 GGUF ของ LFM2.5 ทั้ง 4 ขนาด — เทรน student ให้เป็น 4-bit ตั้งแต่แรก ได้คุณภาพเท่า quant ที่ใหญ่กว่าแต่วิ่งเร็วกว่า 3–33%

19 ส.ค. 2026 Liquid AI ปล่อยเช็คพอยต์ QAD Q4_0 ของ LFM2.5 ทั้งสี่ขนาด (230M / 350M / 1.2B-Instruct / 2.6B) ที่ได้จากการ distill โมเดลครูความละเอียดสูงลงเป็น student แบบ quantized โดยตรง — คงคะแนนเฉลี่ยได้ 96.5–97.4% ของ BF16 พร้อมความเร็ว decode ที่เหนือกว่า quant format คุณภาพเทียบเท่า 3–33%

· อ่าน 5 นาที
Unsloth Dynamic 3.0 GGUF: บีบ Qwen3.8-27B ลงเหลือ 6.2GB แล้วยังใช้ได้ — และเบนช์มาร์กใหม่ที่ Unsloth ยอมรับเองว่าตัวเลขเดิมวัดอะไรไม่ได้จริง
เครื่องมือนักพัฒนา

Unsloth Dynamic 3.0 GGUF: บีบ Qwen3.8-27B ลงเหลือ 6.2GB แล้วยังใช้ได้ — และเบนช์มาร์กใหม่ที่ Unsloth ยอมรับเองว่าตัวเลขเดิมวัดอะไรไม่ได้จริง

Unsloth ปล่อย Dynamic 3.0 GGUF ชุดแรกสำหรับ Qwen3.8-27B เมื่อ 19 ส.ค. 2026 อ้างความแม่นยำสูงกว่าผู้ให้บริการรายอื่นเกิน 10% ที่ขนาดไฟล์เท่ากัน และมีรุ่น 1-bit ขนาด 6.2GB ที่ยังคงความแม่นยำราว 72% — แต่ส่วนที่น่าสนใจกว่าคือ Unsloth ออกแบบเบนช์มาร์กใหม่ Divergence-300 พร้อมบอกเองว่าตัวเลขที่วงการใช้กันมาตลอดนั้นวัดคุณภาพจริงไม่ได้

· อ่าน 6 นาที
llama.cpp เมิร์จ Kimi K3 เข้า main แล้ว — โมเดลเปิดตัวใหญ่ที่สุด 2.8T รันเองได้ แต่ค่าผ่านประตูคือแรม 466 GB
เครื่องมือนักพัฒนา

llama.cpp เมิร์จ Kimi K3 เข้า main แล้ว — โมเดลเปิดตัวใหญ่ที่สุด 2.8T รันเองได้ แต่ค่าผ่านประตูคือแรม 466 GB

PR #26185 ถูกเมิร์จเข้า llama.cpp main เมื่อ 15 ส.ค. 2026 และออกเป็นบิลด์ b10448 ทำให้ Kimi K3 ขนาด 2.8 ล้านล้านพารามิเตอร์รันบนเครื่องตัวเองได้โดยไม่ต้องใช้ fork — แต่ตัวเลขจริงคือแรม 466 GB ขั้นต่ำ และความเร็วราว 3 โทเค็น/วินาที

· อ่าน 6 นาที
antirez เขียน engine รัน MiniMax H3 บน Mac ด้วย Metal ล้วน — คลิป 512×512 ใน 3.5 วินาทีโหมดเร็ว และ int8 ที่ตัดพีค RAM จาก 36GB เหลือ 26GB
เครื่องมือนักพัฒนา

antirez เขียน engine รัน MiniMax H3 บน Mac ด้วย Metal ล้วน — คลิป 512×512 ใน 3.5 วินาทีโหมดเร็ว และ int8 ที่ตัดพีค RAM จาก 36GB เหลือ 26GB

Salvatore Sanfilippo (antirez) ผู้สร้าง Redis เปิดรีโป h3.c เมื่อ 9 ส.ค. 2026 — inference engine ภาษา C + Metal shader ล้วนสำหรับรันโมเดลวิดีโอ MiniMax H3 บน Mac โดยไม่ต้องมี Python หรือ PyTorch เลย ขึ้นอันดับต้นของ Hacker News วันนี้ด้วยดาว 848 ดวง

· อ่าน 6 นาที
Meta กลับสู่ open weights — Muse Glimmer 30B ใบอนุญาต Apache 2.0 quantize เหลือ ~20GB รันบนการ์ดจอตัวเดียวได้
โมเดลใหม่

Meta กลับสู่ open weights — Muse Glimmer 30B ใบอนุญาต Apache 2.0 quantize เหลือ ~20GB รันบนการ์ดจอตัวเดียวได้

10 ส.ค. 2026 Meta ปล่อย Muse Glimmer โมเดล agentic 30B พร้อม weights ภายใต้ Apache 2.0 — quantize 4-bit เหลือไม่ถึง 20GB ลงการ์ดจอ 24–32GB ได้ พร้อมเรียงความ 6,500 คำของ Zuckerberg ที่ประกาศกลับมาสายเปิด และบอกว่ารุ่นใหญ่กว่านี้กำลังตามมา

· อ่าน 7 นาที
Needle 2: โมเดล 45M พารามิเตอร์ในไฟล์ 14MB เรียก tool ได้บนไมโครคอนโทรลเลอร์ — แต่ตารางเบนช์มาร์กของมันเองบอกว่ายังแพ้รุ่นพี่ในหลายข้อ
โมเดลใหม่

Needle 2: โมเดล 45M พารามิเตอร์ในไฟล์ 14MB เรียก tool ได้บนไมโครคอนโทรลเลอร์ — แต่ตารางเบนช์มาร์กของมันเองบอกว่ายังแพ้รุ่นพี่ในหลายข้อ

Cactus Compute ปล่อย Needle 2 เมื่อ 10 ส.ค. 2026 — โมเดล 45M พารามิเตอร์ที่บีบเป็นไบนารีเดียวขนาด 14MB ใช้ RAM ตอนทำงาน 28MB และรันได้ถึงระดับ ESP32 น้ำหนัก Apache-2.0 โค้ด MIT แต่ตารางเบนช์มาร์กในโมเดลการ์ดเองแสดงว่ามันแพ้ LFM2.5 230M และ Apple FM บน BFCL v4 ชัดเจน

· อ่าน 7 นาที
DeepGrove ปล่อย Maple-Preview โมเดล 20B ที่เทรนเป็น ternary ตั้งแต่ต้น — เคลม 218 tok/s บน Mac mini M4 และเช็คพอยต์ 5.31GB แต่ไฟล์ที่โหลดได้จริงคือ 40.4GB
โมเดลใหม่

DeepGrove ปล่อย Maple-Preview โมเดล 20B ที่เทรนเป็น ternary ตั้งแต่ต้น — เคลม 218 tok/s บน Mac mini M4 และเช็คพอยต์ 5.31GB แต่ไฟล์ที่โหลดได้จริงคือ 40.4GB

DeepGrove เปิด Maple-Preview โมเดล reasoning 20B-A1B ที่ไม่ได้ควอนไทซ์ทีหลังแต่เทรนเป็น ternary มาตั้งแต่แรก ใต้ license MIT — แต่ไฟล์บน Hugging Face เป็น bf16 ขนาด 40.4GB และรันไทม์ที่ทำความเร็ว 218 tok/s บน Apple Silicon ยังไม่ถูกปล่อยออกมา

· อ่าน 6 นาที
Swiftlet รัน Qwen 80B บน Mac ด้วย RAM 4.3GB และ 35B บน iPhone — เคล็ดลับคือไม่โหลด expert เข้า RAM เลย แต่ pread จาก SSD ทีละตัว
เครื่องมือนักพัฒนา

Swiftlet รัน Qwen 80B บน Mac ด้วย RAM 4.3GB และ 35B บน iPhone — เคล็ดลับคือไม่โหลด expert เข้า RAM เลย แต่ pread จาก SSD ทีละตัว

Swiftlet (repo สร้าง 3 ส.ค., Apache 2.0, 336 ดาว) เป็น runtime Swift + Metal ที่รัน Qwen3-Next-80B-A3B บน Mac ด้วย peak RAM แค่ 4.3GB และ Qwen3.6-35B บน iPhone ด้วย ~2.5GB — โดยเก็บเฉพาะแกน dense ไว้ใน RAM แล้ว stream น้ำหนัก MoE จาก SSD ตามที่ router เรียก

· อ่าน 7 นาที
Cloudflare เปิดตัวเลขจริงของการรีดโมเดลเปิดลง GPU — FP8 KV cache ดัน Kimi K2.6 จาก 686K เป็น 1.37M token, INT4 ย่อ GLM 5.2 จาก 705GB เหลือ 421GB
เครื่องมือนักพัฒนา

Cloudflare เปิดตัวเลขจริงของการรีดโมเดลเปิดลง GPU — FP8 KV cache ดัน Kimi K2.6 จาก 686K เป็น 1.37M token, INT4 ย่อ GLM 5.2 จาก 705GB เหลือ 421GB

Cloudflare เผยเทคนิคสามชั้นที่ใช้เสิร์ฟ Kimi K2.6 และ GLM 5.2 บน Workers AI — บีบ KV cache เป็น FP8 เพิ่ม context ที่ค้างในหน่วยความจำได้เท่าตัว, บีบน้ำหนัก GLM เป็น INT4 ลดเช็คพอยต์ 40% และเพิ่ม decode สูงสุด 55% พร้อมตารางเบนช์มาร์กที่บอกว่าความแม่นยำไม่ตก

· อ่าน 7 นาที
ทีม VIDRAFT เปิด config เต็มที่ทำสถิติ Fast Gemma Challenge — 510.58 TPS บน A10G ใบเดียว โดยไม่ให้คุณภาพหลุดเพดาน
เครื่องมือนักพัฒนา

ทีม VIDRAFT เปิด config เต็มที่ทำสถิติ Fast Gemma Challenge — 510.58 TPS บน A10G ใบเดียว โดยไม่ให้คุณภาพหลุดเพดาน

3 สิงหาคม 2026 ทีม VIDRAFT เผยแพร่ manifest.json ทั้งไฟล์ของสถิติ verified อันดับหนึ่งใน Fast Gemma Challenge — 510.58 token/วินาที บน NVIDIA A10G ใบเดียว ที่ PPL 2.3930 พร้อมอธิบายทุกปุ่มที่หมุน รวมถึงเหตุผลที่รันเร็วกว่าอย่าง 535.91 TPS ไม่ผ่านการตรวจซ้ำ

· อ่าน 7 นาที
MiniMax H3 ลงเครื่องตัวเองภายใน 48 ชั่วโมง — ComfyUI ตัดจาก 123.6GB เหลือ 42.5GB ชุมชนปั๊ม quant 63 รีโป แต่คำว่า '2K บนเครื่อง' ยังไม่จริง
เครื่องมือนักพัฒนา

MiniMax H3 ลงเครื่องตัวเองภายใน 48 ชั่วโมง — ComfyUI ตัดจาก 123.6GB เหลือ 42.5GB ชุมชนปั๊ม quant 63 รีโป แต่คำว่า '2K บนเครื่อง' ยังไม่จริง

หลังน้ำหนัก MiniMax H3 ขึ้น Hugging Face เมื่อ 3 สิงหาคม ComfyUI รองรับทันทีวันแรกพร้อมชุดน้ำหนักที่ตัด modulation weights ~40% ทิ้งและควอนไทซ์ int8 จนเหลือ 42.5GB จาก 123.6GB ขณะที่ชุมชนสร้างรีโปแปลงร่าง 63 รีโปใน 48 ชั่วโมง — แต่ที่ ComfyUI บอกว่ารัน 2K ได้บนเครื่องนั้น เอกสารของ MiniMax เองระบุว่าโมดูล 2K ยังไม่เปิดซอร์ส

· อ่าน 7 นาที
รัน LLM 28.9 ล้านพารามิเตอร์บนไมโครคอนโทรลเลอร์ราคา 8 ดอลลาร์ — เทคนิค Per-Layer Embeddings ของ Gemma ย่อโมเดลลง ESP32-S3 ได้ 9.5 tok/s
เครื่องมือนักพัฒนา

รัน LLM 28.9 ล้านพารามิเตอร์บนไมโครคอนโทรลเลอร์ราคา 8 ดอลลาร์ — เทคนิค Per-Layer Embeddings ของ Gemma ย่อโมเดลลง ESP32-S3 ได้ 9.5 tok/s

โปรเจกต์โอเพนซอร์สบน GitHub รันโมเดลภาษา 28.9 ล้านพารามิเตอร์บน ESP32-S3 ราคาราว 8 ดอลลาร์ ได้ราว 9.5 tok/s โดยยืมเทคนิค Per-Layer Embeddings จาก Gemma 3n/Gemma 4 มาเก็บตารางเอ็มเบดดิง 25 ล้านพารามิเตอร์ไว้ในแฟลชแทน RAM — อ่านแค่ราว 450 ไบต์ต่อโทเคน ใหญ่กว่าสถิติเดิมบนชิประดับเดียวกันราว 100 เท่า

· อ่าน 6 นาที
Hugging Face รวม Nunchaku เข้า Diffusers — สร้างภาพแบบ 4-bit ประหยัด VRAM ครึ่งหนึ่ง เร็วขึ้น 30% บนการ์ดคอนซูเมอร์
เครื่องมือนักพัฒนา

Hugging Face รวม Nunchaku เข้า Diffusers — สร้างภาพแบบ 4-bit ประหยัด VRAM ครึ่งหนึ่ง เร็วขึ้น 30% บนการ์ดคอนซูเมอร์

Hugging Face ประกาศ (23 ก.ค. 2026) รวม Nunchaku ซึ่งใช้เทคนิค SVDQuant แบบ 4-bit ทั้ง weight และ activation (W4A4) เข้าเป็นส่วนหนึ่งของไลบรารี Diffusers โดยตรง โหลดผ่าน from_pretrained() ตามปกติ ลด VRAM ราวครึ่งหนึ่งและเร็วขึ้น ~30% พร้อม checkpoint สำเร็จรูปของ Krea 2 Turbo และ ERNIE-Image-Turbo ให้ดึงไปใช้ได้ทันที

· อ่าน 5 นาที
Bonsai 27B: ย่อโมเดล 27B ให้รันบนมือถือได้จริง ด้วยการควอนไทซ์ 1-bit
โมเดลใหม่

Bonsai 27B: ย่อโมเดล 27B ให้รันบนมือถือได้จริง ด้วยการควอนไทซ์ 1-bit

PrismML ปล่อย Bonsai 27B โมเดลมัลติโมดัลจาก Qwen3.6-27B ที่ควอนไทซ์เหลือ 1-bit (3.9GB) และ ternary (5.9GB) — เคลมว่าเป็นโมเดลระดับ 27B ตัวแรกที่รันบน iPhone ได้ (11 tok/s) โดยยังรักษาความสามารถไว้ ~90-95% ของ FP16 แจกฟรี Apache 2.0

· อ่าน 6 นาที
DeepSeek V4 รันบนเครื่องตัวเองได้แล้ว — llama.cpp เพิ่มซัพพอร์ตเต็มรูปแบบ (build b9840) เปิดทางโฮสต์โมเดลโอเพนเวตระดับฟรอนเทียร์แบบ self-host
เครื่องมือนักพัฒนา

DeepSeek V4 รันบนเครื่องตัวเองได้แล้ว — llama.cpp เพิ่มซัพพอร์ตเต็มรูปแบบ (build b9840) เปิดทางโฮสต์โมเดลโอเพนเวตระดับฟรอนเทียร์แบบ self-host

llama.cpp merge ซัพพอร์ต DeepSeek V4 เต็มรูปแบบใน build b9840 (29 มิ.ย. 2026) — แปลงเป็น GGUF, quantize และรัน inference ได้บนเครื่อง Mac/Windows/Linux ทำให้โมเดลโอเพนเวต MoE ระดับฟรอนเทียร์ (V4-Pro 1.6T / V4-Flash 284B) ที่เคยรันได้แค่บนคลาวด์ ขยับมา self-host บนฮาร์ดแวร์ของตัวเองได้จริง

· อ่าน 6 นาที
Cohere ปล่อย Command A+ โอเพนเวต Apache 2.0 ตัวแรก — 218B รันบน H100 สองใบด้วย quant 4-bit แทบไม่เสียคุณภาพ
โมเดลใหม่

Cohere ปล่อย Command A+ โอเพนเวต Apache 2.0 ตัวแรก — 218B รันบน H100 สองใบด้วย quant 4-bit แทบไม่เสียคุณภาพ

Cohere เปิดตัว Command A+ โมเดล MoE 218B (active 25B) ที่เป็นโมเดล Apache 2.0 ตัวแรกของบริษัท รองรับ 48 ภาษาและอินพุตภาพ จุดเด่นคือ quantization 4-bit (W4A4) ที่เคลมว่าคุณภาพแทบไม่ลด ทำให้รันบน H100 สองใบหรือ Blackwell ใบเดียวได้

· อ่าน 5 นาที
Google AI Edge + Arm SME2 รัน Stable Audio Open บน CPU มือถือ — เร็วขึ้น 2 เท่า ใช้ RAM น้อยลง 4 เท่า
เครื่องมือนักพัฒนา

Google AI Edge + Arm SME2 รัน Stable Audio Open บน CPU มือถือ — เร็วขึ้น 2 เท่า ใช้ RAM น้อยลง 4 เท่า

Google และ Arm ปล่อย end-to-end pipeline ใหม่บน LiteRT + XNNPACK + KleidiAI ที่ใช้ Arm SME2 เป็น matrix accelerator ใน CPU — สาธิตด้วย Stable Audio Open Small ของ Stability AI ลดเวลา generate เสียง 11 วินาทีจาก 14 → 6.6 วินาที และลด memory ของ DiT submodule 4 เท่า

· อ่าน 5 นาที