แท็ก

#Apple Silicon

19 บทความ

Block เปิดตัว Dessa โมเดลสนทนาเสียงแบบ full-duplex ที่เทรนจากเสียงพูดของคนล้วนๆ ไม่ใช้ข้อความหรือโมเดล pretrained เลย — เคลมรันบน MacBook Pro M4 Max ได้, เทรนบน GB200 NVL72 ชุดเดียว แต่ยังไม่มีให้ดาวน์โหลด ไม่มีขนาดโมเดล ไม่มี benchmark
โมเดลใหม่

Block เปิดตัว Dessa โมเดลสนทนาเสียงแบบ full-duplex ที่เทรนจากเสียงพูดของคนล้วนๆ ไม่ใช้ข้อความหรือโมเดล pretrained เลย — เคลมรันบน MacBook Pro M4 Max ได้, เทรนบน GB200 NVL72 ชุดเดียว แต่ยังไม่มีให้ดาวน์โหลด ไม่มีขนาดโมเดล ไม่มี benchmark

ทีมวิจัยเล็กๆ ใน Block เปิดตัว Dessa (เผยแพร่สู่สาธารณะ 23 ต.ค. 2026) เป็นโมเดล speech-to-speech แบบ full-duplex ที่เทรนจากศูนย์ด้วยบทสนทนาเสียงของคนเท่านั้น ไม่มีข้อความและไม่มีโมเดล pretrained ฟังและพูดพร้อมกันได้ แทรกคำตอบรับ หัวเราะกลางประโยค และเคลมว่ารันในเครื่อง MacBook Pro M4 Max ได้เร็วกว่า real time แต่ตอนนี้มีเพียงคลิปเดโมกับ waitlist ไม่มีขนาดโมเดล ไม่มี benchmark และไม่มี license

· อ่าน 4 นาที
Recursive ปล่อย Flint โมเดลเขียนโค้ด 40B-A2.5B ใต้ Apache-2.0 รันบน Mac 48GB ได้ — ชนะ MoE ขนาดเดียวกันขาด แต่ยังแพ้ Qwen3.8 แบบ dense ใน 4 จาก 6 benchmark
โมเดลใหม่

Recursive ปล่อย Flint โมเดลเขียนโค้ด 40B-A2.5B ใต้ Apache-2.0 รันบน Mac 48GB ได้ — ชนะ MoE ขนาดเดียวกันขาด แต่ยังแพ้ Qwen3.8 แบบ dense ใน 4 จาก 6 benchmark

21 ต.ค. 2026 Recursive (บริษัทของ Richard Socher ที่ระดมทุน $650M เมื่อ พ.ค.) ปล่อย Flint โมเดล MoE สำหรับ coding agent ขนาด 39.8B พารามิเตอร์ active ~2.5B ใต้ Apache-2.0 จริง มีไฟล์ NVFP4/INT4 ขนาด 22-26GB สำหรับ GPU 48GB หรือ Mac 48GB พร้อม engine rec และ llama.cpp ที่ merge รองรับในวันเดียวกัน SWE-bench Verified 74.2% ชนะ Qwen3.5/3.6 แบบ MoE แต่แพ้ Qwen3.8 แบบ dense ในงานเขียนโค้ด 4 จาก 6 รายการ

· อ่าน 6 นาที
SGLang 0.5.22 ออกแล้ว — ตัด Python 3.10 แบบเงียบ ๆ, `--enable-dp-attention` ถูกแทนด้วย `--attn-dp-size`, รันบน Mac ได้ด้วย PyTorch และโหลดโมเดลเร็วขึ้น 10 เท่า
เครื่องมือนักพัฒนา

SGLang 0.5.22 ออกแล้ว — ตัด Python 3.10 แบบเงียบ ๆ, `--enable-dp-attention` ถูกแทนด้วย `--attn-dp-size`, รันบน Mac ได้ด้วย PyTorch และโหลดโมเดลเร็วขึ้น 10 เท่า

SGLang 0.5.22 ออกเมื่อ 19 ต.ค. 2026 (950 PR จาก 245 คน) ต้องใช้ Python 3.11 ขึ้นไป โดยบน 3.10 `pip install` จะไม่ error แต่จะได้เวอร์ชันเก่ามาแทน มี flag และ environment variable หลายตัวที่เปลี่ยนความหมาย ส่วนของใหม่คือรันบน Apple Silicon ด้วย PyTorch ได้, InstantTensor loader ที่โหลด DeepSeek-R1 ใน 15 วินาทีแทน 160 วินาที และ DeepSeek-V4.1 ได้ throughput ต่อ GPU บน H200 เพิ่มสูงสุด 2.3 เท่า

· อ่าน 4 นาที
Apple วัดผล MLX บน Mac Studio M5 Ultra: Muse Spark Open 816B รันบนสี่เครื่องผ่าน RDMA over Thunderbolt ได้ 36.7 tok/s — TTFT เร็วกว่า M3 Ultra สูงสุด 4.6 เท่า พร้อมคำสั่ง mlx.launch ใช้ต่อกับ OpenCode ได้ทันที
เครื่องมือนักพัฒนา

Apple วัดผล MLX บน Mac Studio M5 Ultra: Muse Spark Open 816B รันบนสี่เครื่องผ่าน RDMA over Thunderbolt ได้ 36.7 tok/s — TTFT เร็วกว่า M3 Ultra สูงสุด 4.6 เท่า พร้อมคำสั่ง mlx.launch ใช้ต่อกับ OpenCode ได้ทันที

Apple ML Research เผยผลวัดเมื่อ 15 ต.ค. ว่า MLX รัน Muse Spark Open 816B (NVFP4 ~493GB) บน Mac Studio M5 Ultra สี่เครื่องแบบ tensor parallel ได้ 36.73 tok/s ที่คอนเท็กซ์ 8K ผ่าน RDMA over Thunderbolt 5 และ backend jaccl ส่วนเครื่องเดียว M5 Ultra ให้ TTFT เร็วกว่า M3 Ultra สูงสุด 4.6 เท่า decode เร็วขึ้น 1.6 เท่า กินไฟสูงสุดราว 300W — ตัวเลขทั้งหมดวัดด้วย mlx_lm.benchmark ที่ใครก็รันซ้ำได้

· อ่าน 5 นาที
Ollama 0.40 ออกตัวจริงแล้ว: บน Mac ชิป Apple Silicon โมเดลที่รองรับจะรันบน MLX เป็นค่าเริ่มต้น (Qwen3.8, Gemma 4, decision models) พร้อม embedding หลายโหมดตัวแรกอย่าง EmbeddingGemma 2
เครื่องมือนักพัฒนา

Ollama 0.40 ออกตัวจริงแล้ว: บน Mac ชิป Apple Silicon โมเดลที่รองรับจะรันบน MLX เป็นค่าเริ่มต้น (Qwen3.8, Gemma 4, decision models) พร้อม embedding หลายโหมดตัวแรกอย่าง EmbeddingGemma 2

Ollama v0.40.0 ฉบับเสถียร (แท็กชี้ไปที่ commit วันที่ 6 ต.ค. 2026 หลังผ่าน RC มา 4 รอบตั้งแต่ 25 ก.ย.) ทำให้โมเดลที่ MLX runtime รองรับรันบน MLX อัตโนมัติบน Mac ชิป Apple Silicon ได้แก่ Qwen3.8, Gemma 4, Qwen3.6, Qwen3.5 และ decision models อย่าง Clef/Nimble/Tev1 พร้อมเพิ่ม EmbeddingGemma 2 แบบรับภาพและเสียงผ่าน /api/embed แต่บันทึกรีลีสไม่มีตัวเลขความเร็ว

· อ่าน 3 นาที
llama.cpp 0.6.0: MTP ทำให้ Qwen3.8-Flash-Next decode เร็วขึ้น 1.55 เท่าบน DGX Spark, Mac รุ่น M1–M4 รัน speculative decoding เร็วขึ้นราว 3.6 เท่า, รองรับ GLM-5.3-Flash และมี breaking change ฝั่ง C API (llama_batch_ext)
เครื่องมือนักพัฒนา

llama.cpp 0.6.0: MTP ทำให้ Qwen3.8-Flash-Next decode เร็วขึ้น 1.55 เท่าบน DGX Spark, Mac รุ่น M1–M4 รัน speculative decoding เร็วขึ้นราว 3.6 เท่า, รองรับ GLM-5.3-Flash และมี breaking change ฝั่ง C API (llama_batch_ext)

llama.cpp ปล่อย v0.6.0 เมื่อ 5 ต.ค. 2026 (ตรงกับ build b11429) เพิ่ม MTP speculative decoding ให้ Qwen3.8-Flash-Next (decode เร็วขึ้นเฉลี่ย 1.55 เท่าบน DGX Spark) เพิ่มเคอร์เนล Metal สำหรับ Mac ที่ยังไม่มี tensor API ทำให้ DFlash2 บน M3 Ultra เร็วขึ้นจาก 30.2 เป็น 110 tok/s รองรับ GLM-5.3-Flash 320B ทั้งข้อความและภาพ และเปลี่ยน C API มาใช้ llama_batch_ext

· อ่าน 5 นาที
Magnitude — inference engine ในเครื่องที่จูน kernel บนฮาร์ดแวร์ของคุณเอง อ้างถอดรหัสเร็วกว่า llama.cpp 92% บน Mac แต่ตัวเลขมาจากโมเดลเดียว และฝั่งตัวเองบีบ KV cache เหลือ 8/4 บิต ขณะที่ llama.cpp ใช้ 16 บิต
เครื่องมือนักพัฒนา

Magnitude — inference engine ในเครื่องที่จูน kernel บนฮาร์ดแวร์ของคุณเอง อ้างถอดรหัสเร็วกว่า llama.cpp 92% บน Mac แต่ตัวเลขมาจากโมเดลเดียว และฝั่งตัวเองบีบ KV cache เหลือ 8/4 บิต ขณะที่ llama.cpp ใช้ 16 บิต

30 ก.ย. 2026 Magnitude (YC S25) เปิดตัวบน Hacker News ในฐานะ inference engine แบบ Apache-2.0 เขียนด้วย Rust ที่จูนพารามิเตอร์ของ kernel บนเครื่องผู้ใช้ราว 1 นาทีต่อโมเดล อ้างว่าถอดรหัสเร็วกว่า llama.cpp 92% บน M4 Pro และ 19% บน DGX Spark แต่ทดสอบกับ Qwen3.6 35B-A3B เพียงตัวเดียว รองรับแค่ 15 โมเดลในแคตตาล็อก และยังไม่รองรับหลาย GPU

· อ่าน 5 นาที
Inco Splash — engine รันโมเดลบน Mac ที่ "สร้างรอบโมเดล" รองรับแค่ 2 ตัว แต่ decode Qwen3.8-27B ได้ 74 tok/s เร็วกว่า oMLX 2 เท่า และตอบรอบถัดไปของ agent เร็วกว่า 7 เท่า (Apache-2.0)
เครื่องมือนักพัฒนา

Inco Splash — engine รันโมเดลบน Mac ที่ "สร้างรอบโมเดล" รองรับแค่ 2 ตัว แต่ decode Qwen3.8-27B ได้ 74 tok/s เร็วกว่า oMLX 2 เท่า และตอบรอบถัดไปของ agent เร็วกว่า 7 เท่า (Apache-2.0)

Inco AI ปล่อย Splash engine รันโมเดลบน Mac แบบโอเพนซอร์ส (Apache-2.0) ที่เขียน Metal kernel, draft model DFlash 2 และแผนหน่วยความจำเฉพาะให้ Qwen3.8-27B กับ Qwen3.6-35B-A3B บน M5 Pro 48GB วัดได้เร็วกว่า oMLX 1.7–2 เท่าตอน decode และ 6.6–7.3 เท่าตอนใช้ cache ซ้ำ แต่ตัวเลขทั้งหมดวัดโดย Inco เอง และต้องใช้ M3 ขึ้นไปกับแรม 36GB+

· อ่าน 5 นาที
Hugging Face จ้างผู้สร้าง oMLX มาทำเต็มเวลา — เซิร์ฟเวอร์ LLM บน Mac ที่มีดาว 22k ยังเป็น Apache 2.0 และเป้าต่อไปคือทำให้โมเดลใน transformers รันบน MLX ได้เร็วขึ้น
เครื่องมือนักพัฒนา

Hugging Face จ้างผู้สร้าง oMLX มาทำเต็มเวลา — เซิร์ฟเวอร์ LLM บน Mac ที่มีดาว 22k ยังเป็น Apache 2.0 และเป้าต่อไปคือทำให้โมเดลใน transformers รันบน MLX ได้เร็วขึ้น

22 ก.ย. 2026 Hugging Face ประกาศรับ Jun Kim ผู้สร้างและดูแล oMLX เซิร์ฟเวอร์ LLM บน Apple Silicon ที่มี continuous batching กับ KV cache สองชั้น (RAM + SSD) คุมจาก menu bar ของ macOS เข้าทีม โปรเจกต์ยังเป็น Apache 2.0 และ Jun ยังเป็นผู้นำ โดย HF จะเน้นทำทางลัดจาก model definition ใน transformers ไปเป็น implementation อ้างอิงบน MLX ที่ทุก engine ใช้ได้

· อ่าน 4 นาที
Hugging Face ให้ transformers โหลดไฟล์ GGUF ของ llama.cpp ได้ตรง ๆ แล้ว — ยืม kernel ของ ggml มารันบน Mac ได้เร็วใกล้ llama.cpp แต่ตอนนี้ใช้ได้แค่ Apple Silicon กับตระกูล Qwen3.5
เครื่องมือนักพัฒนา

Hugging Face ให้ transformers โหลดไฟล์ GGUF ของ llama.cpp ได้ตรง ๆ แล้ว — ยืม kernel ของ ggml มารันบน Mac ได้เร็วใกล้ llama.cpp แต่ตอนนี้ใช้ได้แค่ Apple Silicon กับตระกูล Qwen3.5

22 ก.ย. Hugging Face ประกาศว่า transformers (ตอนนี้ต้องติดตั้งจาก main) โหลดไฟล์ GGUF แบบ quantize แล้วรันได้เลยผ่าน from_pretrained(gguf_file=...) และ transformers serve โดยเรียก kernel Metal ของ ggml ผ่านไลบรารี kernels บน M2 Max ได้ 70.4 tok/s กับ Qwen3.5-4B Q4_K_M เทียบกับ llama.cpp ที่ 71.8 แต่ยังรองรับแค่ Apple Silicon และสถาปัตยกรรม Qwen3.5/Qwen3.8 และทีมยังแนะนำให้ใช้ llama.cpp ถ้าต้องการความเร็วสูงสุด

· อ่าน 5 นาที
Edge0 รันโมเดล MoE 35B บน Mac ด้วยหน่วยความจำ 2.9 GiB โดยสตรีม expert จาก SSD — แต่ runtime ตัดจำนวน expert ต่อโทเคนจาก 8 เหลือ 4 และผู้ใช้ M1 วัดได้ช้ากว่าตัวเลขที่ประกาศราว 30 เท่า
เครื่องมือนักพัฒนา

Edge0 รันโมเดล MoE 35B บน Mac ด้วยหน่วยความจำ 2.9 GiB โดยสตรีม expert จาก SSD — แต่ runtime ตัดจำนวน expert ต่อโทเคนจาก 8 เหลือ 4 และผู้ใช้ M1 วัดได้ช้ากว่าตัวเลขที่ประกาศราว 30 เท่า

edge0 เฟรมเวิร์ก Apache-2.0 ที่เปิดตัว 8 ก.ย. และยังติดเทรนด์อันดับ 3 บน Hugging Face รัน Qwen3.5-35B-A3B แบบ 4 บิตบน Mac mini M4 Pro ได้ 14.9–17.7 tok/s โดยใช้หน่วยความจำ 2.9 GiB ด้วยการสตรีม expert จาก SSD, prerouter ที่เดาเส้นทางล่วงหน้า และ LoRA กู้คุณภาพหลัง quantize — แต่ซอร์สโค้ดตั้ง top_k=4 ขณะที่ config ของโมเดลเป็น 8, คะแนนฐาน fp16 ที่รันเองต่ำกว่าตัวเลขทางการของ Qwen และ issue จากผู้ใช้ M1 8 GB วัดรุ่น 8B ได้แค่ 0.7–0.8 tok/s

· อ่าน 7 นาที
รัน Kimi K3 ตัวเต็ม 2.8T บน MacBook เครื่องเดียวได้ 1 โทเคน/วินาที — ARGODRIVE Deltafin สตรีมผู้เชี่ยวชาญจาก SSD สี่ลูก
เครื่องมือนักพัฒนา

รัน Kimi K3 ตัวเต็ม 2.8T บน MacBook เครื่องเดียวได้ 1 โทเคน/วินาที — ARGODRIVE Deltafin สตรีมผู้เชี่ยวชาญจาก SSD สี่ลูก

8 ก.ย. Argonaut Labs ปล่อยเบนช์มาร์กของ Deltafin ที่รัน Kimi K3 ตัวเต็ม 2.8 ล้านล้านพารามิเตอร์บน MacBook Pro M5 Max 128 GB โดยสตรีมน้ำหนักผู้เชี่ยวชาญจาก SSD ภายนอกสี่ลูก ได้ 1.00 tok/s — แต่ตัวเลขที่มีค่ากว่าคือบันได scaling ที่ชี้ว่าคอขวดไม่ใช่แบนด์วิดท์รวม และ prompt 512 โทเคนใช้เวลา 6.3 นาทีกว่าจะได้โทเคนแรก

· อ่าน 7 นาที
llama.cpp 0.4.0 ออกแล้ว — โหลดเทนเซอร์แบบขี้เกียจลด RAM ได้ 16%, --n-cpu-ffn สำหรับโมเดล dense และ sparse FA ที่เร็วขึ้น 2 เท่าเมื่อคอนเท็กซ์ยาว
เครื่องมือนักพัฒนา

llama.cpp 0.4.0 ออกแล้ว — โหลดเทนเซอร์แบบขี้เกียจลด RAM ได้ 16%, --n-cpu-ffn สำหรับโมเดล dense และ sparse FA ที่เร็วขึ้น 2 เท่าเมื่อคอนเท็กซ์ยาว

llama.cpp ปล่อย v0.4.0 เมื่อ 4 ก.ย. 2026 — เป็นเวอร์ชัน minor ที่สี่ภายใน 18 วัน เพิ่ม --lazy-mode ที่อ่านเทนเซอร์ขนาดใหญ่ผ่าน mmap แทนการโหลดทั้งก้อน (ลด peak RAM 16% แลกกับ tg ช้าลง 8-11%), --n-cpu-ffn สำหรับโมเดล dense และ sparse flash attention ที่ให้ 2.03 เท่าที่คอนเท็กซ์ 524K

· อ่าน 6 นาที
slotstream: รัน Qwen3.8-Flash-Next 125B (104 GB) บน Mac 48 GB ได้ 12 tok/s — สตรีม expert จาก SSD ทีละสล็อต ไบนารี Swift ตัวเดียว ไม่ต้องมี Python
เครื่องมือนักพัฒนา

slotstream: รัน Qwen3.8-Flash-Next 125B (104 GB) บน Mac 48 GB ได้ 12 tok/s — สตรีม expert จาก SSD ทีละสล็อต ไบนารี Swift ตัวเดียว ไม่ต้องมี Python

slotstream v0.2.0 (1 ก.ย. 2026) เป็นเอนจินอินเฟอเรนซ์ Swift ตัวเดียวที่รัน Qwen3.8-Flash-Next — MoE 125B ขนาด 104 GB บนดิสก์ — บน Mac 48 GB ได้ที่ราว 12 tok/s โดยสตรีม expert จาก SSD เข้าพูลแคชแบบสล็อตแทนการโหลดทั้งโมเดล และเปิด API แบบ Ollama/OpenAI ให้เครื่องมือเดิมต่อได้ทันที

· อ่าน 7 นาที
antirez เขียน engine รัน MiniMax H3 บน Mac ด้วย Metal ล้วน — คลิป 512×512 ใน 3.5 วินาทีโหมดเร็ว และ int8 ที่ตัดพีค RAM จาก 36GB เหลือ 26GB
เครื่องมือนักพัฒนา

antirez เขียน engine รัน MiniMax H3 บน Mac ด้วย Metal ล้วน — คลิป 512×512 ใน 3.5 วินาทีโหมดเร็ว และ int8 ที่ตัดพีค RAM จาก 36GB เหลือ 26GB

Salvatore Sanfilippo (antirez) ผู้สร้าง Redis เปิดรีโป h3.c เมื่อ 9 ส.ค. 2026 — inference engine ภาษา C + Metal shader ล้วนสำหรับรันโมเดลวิดีโอ MiniMax H3 บน Mac โดยไม่ต้องมี Python หรือ PyTorch เลย ขึ้นอันดับต้นของ Hacker News วันนี้ด้วยดาว 848 ดวง

· อ่าน 6 นาที
Swiftlet รัน Qwen 80B บน Mac ด้วย RAM 4.3GB และ 35B บน iPhone — เคล็ดลับคือไม่โหลด expert เข้า RAM เลย แต่ pread จาก SSD ทีละตัว
เครื่องมือนักพัฒนา

Swiftlet รัน Qwen 80B บน Mac ด้วย RAM 4.3GB และ 35B บน iPhone — เคล็ดลับคือไม่โหลด expert เข้า RAM เลย แต่ pread จาก SSD ทีละตัว

Swiftlet (repo สร้าง 3 ส.ค., Apache 2.0, 336 ดาว) เป็น runtime Swift + Metal ที่รัน Qwen3-Next-80B-A3B บน Mac ด้วย peak RAM แค่ 4.3GB และ Qwen3.6-35B บน iPhone ด้วย ~2.5GB — โดยเก็บเฉพาะแกน dense ไว้ใน RAM แล้ว stream น้ำหนัก MoE จาก SSD ตามที่ router เรียก

· อ่าน 7 นาที
TurboFieldfare รัน Gemma 4 26B ด้วย RAM แค่ 2 GB บน MacBook Air 8 GB
เครื่องมือนักพัฒนา

TurboFieldfare รัน Gemma 4 26B ด้วย RAM แค่ 2 GB บน MacBook Air 8 GB

รันไทม์โอเพนซอร์ส Apache-2.0 เขียนด้วย Swift + Metal สตรีม expert ของ Gemma 4 26B-A4B จาก SSD ทีละโทเคน ทำให้โมเดล 26B รันได้บน Mac RAM 8 GB โดยใช้หน่วยความจำราว 2 GB วัดได้ 5.1–6.3 tok/s บน M2 MacBook Air และ 31–35 tok/s บน M5 Pro

· อ่าน 6 นาที
Ollama 0.31 เร่ง Gemma 4 บน Apple Silicon เร็วขึ้นเกือบ 90% — เปิดใช้เป็นค่าเริ่มต้น ผลลัพธ์ไม่เปลี่ยน ด้วย multi-token prediction บน MLX
เครื่องมือนักพัฒนา

Ollama 0.31 เร่ง Gemma 4 บน Apple Silicon เร็วขึ้นเกือบ 90% — เปิดใช้เป็นค่าเริ่มต้น ผลลัพธ์ไม่เปลี่ยน ด้วย multi-token prediction บน MLX

29 มิ.ย. 2026 Ollama 0.31 ปล่อย multi-token prediction (MTP) สำหรับ Gemma 4 บน Apple Silicon ทำให้เจนโทเคนเร็วขึ้นเกือบ 90% บนเบนช์มาร์ก Aider polyglot (ทดสอบบน M5 Max, nvfp4) โดยเปิดใช้เป็นค่าเริ่มต้นและไม่เปลี่ยนผลลัพธ์ของโมเดล

· อ่าน 4 นาที
Ollama v0.24 รองรับ Codex App ของ OpenAI — ขับเอเจนต์ Codex บนโมเดลโลคอลในเครื่องตัวเอง
เครื่องมือนักพัฒนา

Ollama v0.24 รองรับ Codex App ของ OpenAI — ขับเอเจนต์ Codex บนโมเดลโลคอลในเครื่องตัวเอง

Ollama ปล่อยเวอร์ชัน 0.24 เพิ่มการรองรับ Codex App เดสก์ท็อปของ OpenAI ให้นักพัฒนาขับเวิร์กโฟลว์เอเจนต์ Codex บนโมเดลโลคอลในเครื่องตัวเองได้ พร้อมปรับ MLX sampler บน Apple Silicon และแนะนำโมเดลโค้ดดิ้งโอเพน

· อ่าน 4 นาที