แท็ก

#vLLM

63 บทความ

MiniMax ปล่อยน้ำหนัก M3.1 Flash แล้ว — 428B (active 23B) แจกมาเป็น NVFP4 จาก quantization-aware training ไม่มี BF16, ไฟล์ 252GB ต้องใช้ B200 4 ใบหรือ H100 8 ใบ และ license เป็น MiniMax Community แบบเดียวกับ M3
โมเดลใหม่

MiniMax ปล่อยน้ำหนัก M3.1 Flash แล้ว — 428B (active 23B) แจกมาเป็น NVFP4 จาก quantization-aware training ไม่มี BF16, ไฟล์ 252GB ต้องใช้ B200 4 ใบหรือ H100 8 ใบ และ license เป็น MiniMax Community แบบเดียวกับ M3

4 วันหลังเปิดตัวแบบ API-only MiniMax ปล่อยน้ำหนัก M3.1 Flash ขึ้น Hugging Face เมื่อ 23 ต.ค. 2026 (03:37 UTC) ขนาดประมาณ 428B พารามิเตอร์ active 23B ต่อโทเคน context 1M รับภาพและวิดีโอ ไฟล์ทั้งหมด 252GB เพราะ expert ถูกเทรนแบบ quantization-aware เป็น NVFP4 และไม่มีเวอร์ชัน BF16 ให้ vLLM แนะนำ B200/GB200 4 ใบ หรือ H100/H200 8 ใบ ใช้ license MiniMax Community ที่ต้องแจ้ง MiniMax ก่อนใช้เชิงพาณิชย์

· อ่าน 5 นาที
IBM ปล่อย Granite Speech 5.0 2B (Apache-2.0) — WER ภาษาอังกฤษเฉลี่ย 5.06% อันดับ 2 ของโมเดลเปิดบน Open ASR Leaderboard, TurboCTC 470M รองรับหลายภาษาและเร็วขึ้น 1.6 เท่า แต่ยังไม่มีภาษาไทย
โมเดลใหม่

IBM ปล่อย Granite Speech 5.0 2B (Apache-2.0) — WER ภาษาอังกฤษเฉลี่ย 5.06% อันดับ 2 ของโมเดลเปิดบน Open ASR Leaderboard, TurboCTC 470M รองรับหลายภาษาและเร็วขึ้น 1.6 เท่า แต่ยังไม่มีภาษาไทย

21 ต.ค. 2026 IBM ปล่อย granite-speech-5.0-2b (Apache-2.0) ที่ IBM ระบุว่าได้ WER ภาษาอังกฤษเฉลี่ย 5.06% อันดับ 2 ในกลุ่มโมเดลเปิดบน Open ASR Leaderboard รองรับ keyword list 2,000 คำ และรันได้บน vLLM, llama.cpp, mlx-audio พร้อมอัปเดต TurboCTC 470M ให้รองรับหลายภาษา และ 4.1-2b-plus ที่ลด timestamp shift ลงกว่าครึ่ง — ทั้งหมดยังไม่รองรับภาษาไทย

· อ่าน 3 นาที
Google เปิดซอร์ส TorchTPU: torch.device("tpu") ใช้ได้จริง พร้อม vLLM/SGLang บน TPU และประกาศเลิก PyTorch/XLA (archive 15 พ.ย.) — แต่ matmul fp32 ค่าเริ่มต้นคำนวณแบบ bf16 ไม่ใช่ fp32 เต็มแบบ CUDA
เครื่องมือนักพัฒนา

Google เปิดซอร์ส TorchTPU: torch.device("tpu") ใช้ได้จริง พร้อม vLLM/SGLang บน TPU และประกาศเลิก PyTorch/XLA (archive 15 พ.ย.) — แต่ matmul fp32 ค่าเริ่มต้นคำนวณแบบ bf16 ไม่ใช่ fp32 เต็มแบบ CUDA

Google เปิด repo TorchTPU สู่สาธารณะภายใต้ Apache-2.0 และปล่อย torch_tpu 0.2.0 บน PyPI (19–20 ต.ค. 2026) ทำให้ TPU เป็น device ปกติของ PyTorch ตัวหนึ่ง พร้อมเปิดตัว vLLM-TorchTPU, SGLang-TorchTPU และ TorchTitan บน TPU ส่วน PyTorch/XLA ถูกประกาศเลิกใช้และจะ archive วันที่ 15 พ.ย. ข้อควรระวังคือ runtime libtpu ยังอยู่ภายใต้ข้อตกลงของ Google Cloud และ matmul fp32 ค่าเริ่มต้นใช้ความแม่นยำระดับ bf16

· อ่าน 6 นาที
vLLM 0.32 ออกแล้ว — CORS ไม่เปิดให้ทุก origin อีกต่อไป, ตัด Python 3.10, `max_tokens` เลิกกินพื้นที่ context, `/v1/systemone` เปิดเป็นค่าเริ่มต้น และ NVFP4 KV cache ลงมาถึง RTX/Ampere
เครื่องมือนักพัฒนา

vLLM 0.32 ออกแล้ว — CORS ไม่เปิดให้ทุก origin อีกต่อไป, ตัด Python 3.10, `max_tokens` เลิกกินพื้นที่ context, `/v1/systemone` เปิดเป็นค่าเริ่มต้น และ NVFP4 KV cache ลงมาถึง RTX/Ampere

vLLM 0.32.0 ออกเมื่อ 18 ต.ค. 2026 (814 คอมมิตจาก 363 คน) มี breaking change ที่ต้องอ่านก่อนอัปเกรด ได้แก่ CORS ไม่อนุญาตทุก origin เป็นค่าเริ่มต้นอีกต่อไป ต้องการ Python 3.11 ขึ้นไป `max_tokens` ไม่ถูกหักจาก context window แล้ว และชื่อ event reasoning ของ Responses API เปลี่ยน พร้อมแพตช์ช่องโหว่สามรายการ ส่วน endpoint ตัดสินใจ `/v1/systemone` เปิดให้ใช้เป็นค่าเริ่มต้น

· อ่าน 5 นาที
Tencent ปล่อย Hy-Memory-30B-A3B (Apache-2.0): โมเดล MoE active 3B ที่ทำหน้าที่ 'เขียนความจำ' แทน LLM ใหญ่ใน Mem0/MemOS — ชนะ Claude Opus 5 แบบฉิวเฉียด 55.49 ต่อ 54.62 พร้อมเปิดซอร์ส MemHub
โมเดลใหม่

Tencent ปล่อย Hy-Memory-30B-A3B (Apache-2.0): โมเดล MoE active 3B ที่ทำหน้าที่ 'เขียนความจำ' แทน LLM ใหญ่ใน Mem0/MemOS — ชนะ Claude Opus 5 แบบฉิวเฉียด 55.49 ต่อ 54.62 พร้อมเปิดซอร์ส MemHub

Tencent Hunyuan ปล่อย Hy-Memory-30B-A3B เมื่อ 15 ต.ค. 2026 เป็นโมเดล MoE 30B (active ~3B) ไลเซนส์ Apache-2.0 จริงในไฟล์ LICENSE ฝึกมาเฉพาะงาน 'เขียนความจำ' ใน Mem0, MemOS และ Hy-Memory ได้คะแนนเฉลี่ย 55.49% เทียบ Claude Opus 5 ที่ 54.62% บนชุดทดสอบย่อย 20% พร้อมเปิดซอร์ส SDK hy-memory 2.0 และ MemHub ที่รวมประวัติจาก Claude Code, Cursor และ Codex ไว้ในเครื่อง

· อ่าน 5 นาที
Reflection ปล่อยน้ำหนัก Beam 1.0 (501B-A23B) แล้ว — Apache-2.0 จริงทั้งไฟล์ LICENSE มีทั้ง BF16/FP8/NVFP4 พร้อม Mirror CLI แต่สูตรรันเองต้องใช้ B300 สี่ใบ และ vLLM สายหลักยังไม่ merge
โมเดลใหม่

Reflection ปล่อยน้ำหนัก Beam 1.0 (501B-A23B) แล้ว — Apache-2.0 จริงทั้งไฟล์ LICENSE มีทั้ง BF16/FP8/NVFP4 พร้อม Mirror CLI แต่สูตรรันเองต้องใช้ B300 สี่ใบ และ vLLM สายหลักยังไม่ merge

16 ต.ค. 2026 Reflection เปิดน้ำหนัก Beam 1.0 บน Hugging Face ภายใต้ Apache-2.0 (มีไฟล์ LICENSE จริง) ครบทั้ง BF16 934 GiB, FP8 469 GiB, NVFP4 273 GiB และตัว drafter DFlash2 พร้อมเปิด API และ coding agent โอเพนซอร์สชื่อ Mirror CLI คะแนนสุดท้ายในการ์ดขยับจากวันประกาศเล็กน้อย ส่วนสูตรรันเองที่แนะนำต้องใช้ NVIDIA B300 สี่ใบ และ vLLM ยังต้องใช้อิมเมจพิเศษ

· อ่าน 6 นาที
IBM ปล่อย Granite Switch 4.1 (8B/30B, Apache-2.0): รวมแชต, decision adapter, ตัวตรวจความปลอดภัย และ ASR ไว้ใน endpoint เดียวด้วย aLoRA ที่ใช้ KV cache ร่วมกัน — ท้าชน Jev แต่คะแนน Decision Index ยังอยู่ที่ 42.9/50.1
โมเดลใหม่

IBM ปล่อย Granite Switch 4.1 (8B/30B, Apache-2.0): รวมแชต, decision adapter, ตัวตรวจความปลอดภัย และ ASR ไว้ใน endpoint เดียวด้วย aLoRA ที่ใช้ KV cache ร่วมกัน — ท้าชน Jev แต่คะแนน Decision Index ยังอยู่ที่ 42.9/50.1

IBM ปล่อย Granite Switch 4.1 ขนาด 8B และ 30B (Apache-2.0) เมื่อ 14–15 ต.ค. 2026 เป็นโมเดลที่ประกอบ Granite 4.1 เข้ากับ activated LoRA สำหรับงานตัดสินใจและตรวจความปลอดภัย และฝังตัวถอดเสียง Granite Speech 5.0 TurboCTC ไว้ใน endpoint เดียว โดยใช้ VRAM ใกล้เคียงโมเดลฐาน IBM อ้างว่า Guardian adapter ชนะ Jev 1.13 ในงานด้านความปลอดภัย แต่คะแนน Decision Index ของ decision adapter อยู่ที่ 42.9 (8B) และ 50.1 (30B) และ ASR ยังไม่ได้เทรนร่วมกับ LLM

· อ่าน 4 นาที
Meta ปล่อยน้ำหนัก Muse Spark Open: MoE 816B (active 42B) บริบท 1M รับภาพ เสียง วิดีโอ รันบน Mac Studio M5 Ultra สองเครื่องได้ — แต่ AA Index ยังตาม GLM 5.3, Kimi K3 และ Qwen3.8 ส่วนไลเซนส์บังคับป้าย "Built with" และเพดาน MaaS $20M
โมเดลใหม่

Meta ปล่อยน้ำหนัก Muse Spark Open: MoE 816B (active 42B) บริบท 1M รับภาพ เสียง วิดีโอ รันบน Mac Studio M5 Ultra สองเครื่องได้ — แต่ AA Index ยังตาม GLM 5.3, Kimi K3 และ Qwen3.8 ส่วนไลเซนส์บังคับป้าย "Built with" และเพดาน MaaS $20M

Meta ปล่อยน้ำหนัก Muse Spark Open เมื่อ 15 ต.ค. 2026 เป็นโมเดล MoE 816B (active 42B, 256 experts เลือก 8) บริบท 1M รับข้อความ ภาพ เสียง และวิดีโอ มีทั้ง BF16 และ NVFP4 รันได้ตั้งแต่วันแรกบน vLLM, SGLang, llama.cpp และ MLX ตารางของ Meta เองแสดงว่านำในงานเอเจนต์บางรายการ แต่ AA Intelligence Index 39 ยังต่ำกว่าโมเดลจีนอย่าง GLM 5.3 (45) และ Kimi K3 (44) ส่วน Muse Model License อนุญาตเชิงพาณิชย์ แต่บังคับแสดง "Built with Muse Spark Open" และให้บริษัทรายได้เกิน $20M ที่ให้บริการโมเดลผ่าน API ต้องทำสัญญาแยก

· อ่าน 6 นาที
NVIDIA ปล่อย Nemotron 3.5 Bolt 74B-A9B 24GB: บีบ Super VL 120B ลงเหลือ 74B แล้ว quantize เป็น 2 บิตให้น้ำหนักเหลือ 24GB สำหรับเอเจนต์บนเครื่อง — คะแนนนำ Qwen3.6-35B-A3B แต่ช้ากว่าในการวัดของ NVIDIA เอง
โมเดลใหม่

NVIDIA ปล่อย Nemotron 3.5 Bolt 74B-A9B 24GB: บีบ Super VL 120B ลงเหลือ 74B แล้ว quantize เป็น 2 บิตให้น้ำหนักเหลือ 24GB สำหรับเอเจนต์บนเครื่อง — คะแนนนำ Qwen3.6-35B-A3B แต่ช้ากว่าในการวัดของ NVIDIA เอง

NVIDIA ปล่อย Nemotron 3.5 Bolt 74B-A9B 24GB เมื่อ 15 ต.ค. 2026 เป็นโมเดลภาพ+ข้อความแบบ Mamba-Transformer MoE ที่บีบอัดจาก Nemotron 3.5 Super VL 120B-A12B แล้ว quantize experts เป็น IQ2_XXS (2.06 บิต) จนน้ำหนักเหลือ 24GB บริบท 256K ไลเซนส์ OpenMDW-1.1 คะแนนนำ Qwen3.6-35B-A3B และ Gemma 4 26B-A4B ในงานเอเจนต์หลายรายการ แต่ตาราง NVIDIA เองแสดงว่ายังช้ากว่าทั้งสองตัว และสูตร llama.cpp ที่ให้มาต้องใช้ GPU 32GB ขึ้นไป

· อ่าน 4 นาที
JetBrains ปล่อย Mellum2.1 — โมเดลเปิด 12B MoE (active 2.5B) Apache-2.0 ที่ RL ในรีโปจริงจน SWE-bench Verified กระโดดจาก 2% เป็น 47% มี GGUF 7–8 GB ให้รันบนเครื่องแล้ว
โมเดลใหม่

JetBrains ปล่อย Mellum2.1 — โมเดลเปิด 12B MoE (active 2.5B) Apache-2.0 ที่ RL ในรีโปจริงจน SWE-bench Verified กระโดดจาก 2% เป็น 47% มี GGUF 7–8 GB ให้รันบนเครื่องแล้ว

JetBrains ปล่อย Mellum2.1 Thinking (8 ต.ค.) โมเดล MoE 12B ที่ใช้งานจริงแค่ 2.5B ต่อโทเคน ไลเซนส์ Apache-2.0 สถาปัตยกรรมเหมือน Mellum2 แต่เน้น RL ในรีโปจริงจน SWE-bench Verified ขึ้นจาก 2.0 เป็น 47.0 (Qwen3.5-9B ได้ 50.0) บล็อกบอกว่า GGUF 'มาเร็วๆ นี้' แต่ repo GGUF ทางการขึ้น Hugging Face แล้ว Q4_K_M 8.1 GB

· อ่าน 5 นาที
NVIDIA สรุปสูตร Nemotron ระดับเหรียญทอง IOI และ IMO 2026 — โมเดลโค้ด 550B แบบ open-weight ทำได้ 535.4/600 สูงกว่าคะแนนมนุษย์อันดับหนึ่ง และเปิดข้อมูลกับ recipe ให้ทำซ้ำได้
โมเดลใหม่

NVIDIA สรุปสูตร Nemotron ระดับเหรียญทอง IOI และ IMO 2026 — โมเดลโค้ด 550B แบบ open-weight ทำได้ 535.4/600 สูงกว่าคะแนนมนุษย์อันดับหนึ่ง และเปิดข้อมูลกับ recipe ให้ทำซ้ำได้

บล็อก Hugging Face ของ NVIDIA ลงวันที่ 7 ต.ค. 2026 สรุปว่า Nemotron 3 ที่ผ่านการ fine-tune ทำคะแนนระดับเหรียญทองได้ทั้ง IOI 2026 (535.4/600 สูงกว่าคะแนนมนุษย์อันดับหนึ่ง 498.27 แต่เป็นการรันนอกการจัดอันดับทางการ) และ IMO 2026 (30/42) โมเดลโค้ด 550B-A55B ใช้ license OpenMDW-1.1 และอยู่บน Hugging Face ตั้งแต่ 3 ก.ย. ซึ่งเราไม่ได้รายงานไว้ โพสต์นี้จึงเป็นการรายงานย้อนหลัง

· อ่าน 5 นาที
vLLM 0.31 ออกแล้ว — ใช้ `vllm preload` คำสั่งเดียวก็เก็บน้ำหนักค้างบน GPU ได้, snapshot ทั้ง engine ด้วย CRIU ลดเวลาเปิดจาก 54.7 เหลือ 20.4 วินาที และ endpoint สาธารณะปลอดภัยขึ้นเพราะปฏิเสธ multimodal kwargs ที่ส่งมากับคำขอเป็นค่าเริ่มต้น
เครื่องมือนักพัฒนา

vLLM 0.31 ออกแล้ว — ใช้ `vllm preload` คำสั่งเดียวก็เก็บน้ำหนักค้างบน GPU ได้, snapshot ทั้ง engine ด้วย CRIU ลดเวลาเปิดจาก 54.7 เหลือ 20.4 วินาที และ endpoint สาธารณะปลอดภัยขึ้นเพราะปฏิเสธ multimodal kwargs ที่ส่งมากับคำขอเป็นค่าเริ่มต้น

vLLM ปล่อย 0.31.0 เมื่อ 5 ต.ค. 2026 (717 คอมมิตจาก 307 คน) Fast Start ที่มาใน 0.30 กลายเป็นคำสั่ง `vllm preload` คำสั่งเดียว มี snapshot engine แบบทดลองที่ใช้ CRIU ซึ่งลดเวลาเปิด Qwen3-32B บน H100 ลง 62.7% และมี breaking change ด้านความปลอดภัยคือ endpoint ปฏิเสธ `mm_processor_kwargs` กับ `media_io_kwargs` ที่ส่งมากับคำขอเป็นค่าเริ่มต้น

· อ่าน 5 นาที
Aleph Alpha ปล่อย Kolibri-1 โมเดล MoE 78B (active 3.46B) แบบ Apache-2.0 เน้นเยอรมัน-อังกฤษ — AIME 2025 ได้ 96.9 รองรับ context 1M แต่ยังแพ้ Qwen3.8-27B เกือบทุกช่อง
โมเดลใหม่

Aleph Alpha ปล่อย Kolibri-1 โมเดล MoE 78B (active 3.46B) แบบ Apache-2.0 เน้นเยอรมัน-อังกฤษ — AIME 2025 ได้ 96.9 รองรับ context 1M แต่ยังแพ้ Qwen3.8-27B เกือบทุกช่อง

3 ต.ค. 2026 Aleph Alpha สตาร์ทอัปจากเยอรมนีปล่อย Kolibri-1 โมเดล reasoning แบบ MoE ขนาด 78B ที่ใช้พารามิเตอร์จริงต่อโทเคนเพียง 3.46B ใต้ไลเซนส์ Apache-2.0 เทรน 20T โทเคนบน B200 768 ตัว รองรับ context 1M และ tool calling คะแนนชนะโมเดลกลุ่ม active ~3B ส่วนใหญ่ แต่ยังตามหลัง Qwen3.8-27B และรองรับแค่เยอรมันกับอังกฤษ ไม่มีภาษาไทย

· อ่าน 6 นาที
NVIDIA เปิด DGX Spark รุ่น 64GB เริ่ม $4,999 วางขาย 23 ต.ค. ผ่าน 6 แบรนด์ — แรมลดครึ่ง ต่อ 2 เครื่องเป็น 128GB ได้ด้วย Sync Cluster Assistant
ผลิตภัณฑ์

NVIDIA เปิด DGX Spark รุ่น 64GB เริ่ม $4,999 วางขาย 23 ต.ค. ผ่าน 6 แบรนด์ — แรมลดครึ่ง ต่อ 2 เครื่องเป็น 128GB ได้ด้วย Sync Cluster Assistant

NVIDIA ประกาศ DGX Spark รุ่นหน่วยความจำ 64GB เมื่อ 2 ต.ค. 2026 ราคาเริ่ม $4,999 ขายผ่าน Acer, ASUS, Dell, Gigabyte, HP และ MSI ตั้งแต่ 23 ต.ค. ใช้ชิป GB10 และซอฟต์แวร์ชุดเดียวกับรุ่น 128GB รองรับโมเดลถึง 100B พารามิเตอร์ และต่อ 2 เครื่องรวมแรมเป็น 128GB ผ่าน NVIDIA Sync Cluster Assistant

· อ่าน 4 นาที
ไม่ต้องเทรนโมเดลตัดสินใจใหม่: Privatemode ใช้ GLM-5.3-Flash ตอบแบบ typed ด้วยโทเคนเดียวผ่าน logprobs ของ vLLM — ความแม่นยำไม่ต่างจาก Jev อย่างมีนัยสำคัญ อ่านภาพได้ด้วย แต่แพงกว่าราว 4 เท่า
เครื่องมือนักพัฒนา

ไม่ต้องเทรนโมเดลตัดสินใจใหม่: Privatemode ใช้ GLM-5.3-Flash ตอบแบบ typed ด้วยโทเคนเดียวผ่าน logprobs ของ vLLM — ความแม่นยำไม่ต่างจาก Jev อย่างมีนัยสำคัญ อ่านภาพได้ด้วย แต่แพงกว่าราว 4 เท่า

ทีม Privatemode ของ Edgeless Systems เผยแพร่เทคนิคและไลบรารี MIT ที่ทำให้ GLM-5.3-Flash ทำงานแบบโมเดลตัดสินใจอย่าง Jev ได้โดยไม่ต้อง fine-tune วิธีคือใส่หมายเลขให้ตัวเลือก เติมคำตอบไว้ล่วงหน้า แล้วอ่าน logprob ของโทเคนเดียว บน 28 ชุดข้อมูลแม่นเท่า Jev ในเชิงสถิติ (p = 0.64) และตอบคำถามที่มีภาพได้ แต่ต้นทุนราว €62 ต่อล้านครั้ง เทียบกับ €16 ของ Jev

· อ่าน 5 นาที
Antigravity SDK รันเอเจนต์บนโมเดลในเครื่องได้แล้ว — Gemma 4 26B ผ่าน LiteRT แบบออฟไลน์ และต่อกับ Ollama, LM Studio หรือ vLLM ได้
เครื่องมือนักพัฒนา

Antigravity SDK รันเอเจนต์บนโมเดลในเครื่องได้แล้ว — Gemma 4 26B ผ่าน LiteRT แบบออฟไลน์ และต่อกับ Ollama, LM Studio หรือ vLLM ได้

Google เพิ่ม LiteRTAgentConfig และ LocalOpenAIAgentConfig ใน Antigravity SDK (Python) ทำให้ harness ตัวเดียวกับ Google Antigravity รันบน Gemma 4 26B A4B ในเครื่องได้โดยไม่ต้องต่อเน็ต หรือต่อกับเซิร์ฟเวอร์ที่ใช้ API แบบ OpenAI เช่น Ollama, LM Studio และ vLLM แนะนำให้มีหน่วยความจำ GPU หรือ unified memory มากกว่า 24GB

· อ่าน 5 นาที
CLM-8B: โมเดลตัดสินใจแบบ System One ที่ไม่ generate สักโทเคน — ใช้ contrastive embedding บน Qwen3-8B กับหัวเทรนได้ 75MB เร็วกว่า Jev สูงสุด 9 เท่า เปิด Apache-2.0
โมเดลใหม่

CLM-8B: โมเดลตัดสินใจแบบ System One ที่ไม่ generate สักโทเคน — ใช้ contrastive embedding บน Qwen3-8B กับหัวเทรนได้ 75MB เร็วกว่า Jev สูงสุด 9 เท่า เปิด Apache-2.0

Contrastive-LM ปล่อย CLM-8B โมเดลตัดสินใจที่ใช้ API แบบเดียวกับ Jev ของ TypeSafe แต่ไม่ generate ข้อความเลย ใช้ Qwen3-8B แบบ frozen เป็น encoder แล้วต่อหัว projection 20M พารามิเตอร์ที่เทรนด้วย contrastive loss ให้คะแนนตัวเลือกด้วยความใกล้กันของ embedding ตัวเลขของผู้พัฒนาเองบอกว่าเร็วกว่า Jev 1.6–9 เท่า ความแม่นใกล้เคียงกันเกือบทุกงาน และเมื่อไฟน์จูนเป็น verifier ได้ 81.6% บน DeepSWE แต่วัดบนชุดทดสอบเพียง 30–38 งาน

· อ่าน 5 นาที
vLLM 0.30 ออกแล้ว — Fast Start เก็บน้ำหนักค้างไว้บน GPU ให้รีสตาร์ต engine ได้โดยไม่ต้องโหลดจากดิสก์, มีระบบลายน้ำ Gumbel-max ในตัว และมี breaking change ที่ต้องเช็กก่อนอัปเกรด
เครื่องมือนักพัฒนา

vLLM 0.30 ออกแล้ว — Fast Start เก็บน้ำหนักค้างไว้บน GPU ให้รีสตาร์ต engine ได้โดยไม่ต้องโหลดจากดิสก์, มีระบบลายน้ำ Gumbel-max ในตัว และมี breaking change ที่ต้องเช็กก่อนอัปเกรด

vLLM ปล่อย 0.30.0 เมื่อ 22 ก.ย. 2026 (762 คอมมิตจาก 315 คน) ฟีเจอร์หลักคือ Fast Start ที่ใช้ daemon เก็บน้ำหนักที่ quantize และแบ่ง TP แล้วไว้บน GPU ให้ engine ที่รีสตาร์ตแมปผ่าน CUDA IPC ได้เลย, ระบบลายน้ำข้อความแบบ Gumbel-max พร้อมตัวตรวจ, HiSparse ที่ย้าย KV ไปพักใน host memory และโมเดลใหม่อย่าง DeepSeek-V4.1-Flash กับ GLM-5.3-Flash ส่วน breaking change มีทั้ง --enable-scale-out, การถอด GPTQ g_idx และการเปลี่ยนพฤติกรรม YaRN

· อ่าน 5 นาที
Atria Dawn Preview: โมเดล agentic 744B จาก Shanghai AI Lab ที่วางน้ำหนัก 1.51 TB ไว้บน Hugging Face — ติดป้าย MIT แต่ในรีโปไม่มีไฟล์ LICENSE
โมเดลใหม่

Atria Dawn Preview: โมเดล agentic 744B จาก Shanghai AI Lab ที่วางน้ำหนัก 1.51 TB ไว้บน Hugging Face — ติดป้าย MIT แต่ในรีโปไม่มีไฟล์ LICENSE

Shanghai AI Laboratory ปล่อย Atria Dawn Preview — โมเดล agentic แบบ MoE 744B ที่ต่อยอดจากฐาน GLM-5.2 เปิดน้ำหนักเต็ม 1.51 TB บน Hugging Face พร้อม FP8 และคอนเท็กซ์ 256K ทำคะแนนสูงสุดใน 5 จาก 16 เบนช์มาร์กที่รายงานเอง รวม CyberGym 86.5 และ BrowseComp 92.5 — แต่การ์ดโมเดลติดป้าย MIT ทั้งที่ลิงก์ LICENSE ในรีโปเปิดไม่ขึ้น

· อ่าน 7 นาที
Harvard สาธิตว่าโมเดลระบุได้เองว่ากำลังรันบน vLLM หรือ llama.cpp — แค่สั่งตัวเองพูดซ้ำแล้วนับ แล้วต่อเป็นเชนหลุดจากคอนเทนเนอร์ถึงระดับเฟิร์มแวร์
งานวิจัย

Harvard สาธิตว่าโมเดลระบุได้เองว่ากำลังรันบน vLLM หรือ llama.cpp — แค่สั่งตัวเองพูดซ้ำแล้วนับ แล้วต่อเป็นเชนหลุดจากคอนเทนเนอร์ถึงระดับเฟิร์มแวร์

17 ก.ย. 2026 นักวิจัย Harvard เผยแพร่เปเปอร์ที่แสดงว่าโมเดลสามารถ fingerprint เอนจิน inference ที่รันตัวเองได้ด้วยความแม่นยำ 95% ขึ้นไป โดยอาศัยความต่างของ template และ tokenizer ระหว่าง vLLM, SGLang, llama.cpp, Ollama และ TensorRT-LLM แล้วต่อยอดเป็นเชน exploit สามขั้นจาก eval() ใน vLLM ไปถึงการคุมเครื่องระดับ BMC

· อ่าน 8 นาที
SGLang 0.5.20: มาสก์การสุ่มสำหรับ RL rollout ที่เล่นซ้ำได้, radix tree รวมร่างดัน cache hit 43.8%→60.8% และโหลดโมเดลบน ROCm จาก 505 วินาทีเหลือ 40 วินาที
เครื่องมือนักพัฒนา

SGLang 0.5.20: มาสก์การสุ่มสำหรับ RL rollout ที่เล่นซ้ำได้, radix tree รวมร่างดัน cache hit 43.8%→60.8% และโหลดโมเดลบน ROCm จาก 505 วินาทีเหลือ 40 วินาที

SGLang v0.5.20 (18 ก.ย. 2026) รวม 713 PR จาก 237 ผู้ร่วมพัฒนา ของเด่นคือ return_sampling_mask ที่ทำให้ trainer เล่น rollout ซ้ำได้โดยไม่ต้องสร้าง top-k/top-p ใหม่, unified radix tree ที่แคชจุดแตกแขนงของ SWA, ตัวจำลองสเกดูเลอร์ที่รันบน CPU ล้วน และการซ่อม path โหลดโมเดลบน ROCm ที่เร็วขึ้นกว่า 12 เท่า

· อ่าน 7 นาที
BITCOS ทุบกำแพง 1.58 บิตของโมเดล ternary — พบว่าน้ำหนักเป็นศูนย์ถึง 51.5% เลยบีบเหลือ 1.485 บิตต่อน้ำหนัก และ decode เร็วขึ้นถึง 1.27 เท่า
งานวิจัย

BITCOS ทุบกำแพง 1.58 บิตของโมเดล ternary — พบว่าน้ำหนักเป็นศูนย์ถึง 51.5% เลยบีบเหลือ 1.485 บิตต่อน้ำหนัก และ decode เร็วขึ้นถึง 1.27 เท่า

เปเปอร์ที่ขึ้น arXiv เมื่อ 14 ก.ย. 2026 วัดการกระจายสัญลักษณ์จริงของโมเดล ternary 29 ตัว พบว่าน้ำหนักเป็นศูนย์มากถึง 51.5% จึงเสนอ BITCOS ซึ่งเป็นเลย์เอาต์แบบ bitmap + sign vector ที่กินพื้นที่ 2−z บิตต่อน้ำหนัก ชนะการแพ็กแบบ five-trit ใน 26 จาก 29 โมเดล ลงต่ำสุดที่ 1.485 บิต และดัน decode throughput ขึ้น 1.18 เท่าบน CPU กับ 1.27 เท่าบน GPU

· อ่าน 7 นาที
vLLM 0.29 เปลี่ยนเครื่องยนต์เป็น Model Runner V2 ทุกโมเดล — V1 ถูกประกาศเลิกใช้ ตั้งเป้าลบใน 0.32 และ api_server แบบเดิมถูก deprecate
เครื่องมือนักพัฒนา

vLLM 0.29 เปลี่ยนเครื่องยนต์เป็น Model Runner V2 ทุกโมเดล — V1 ถูกประกาศเลิกใช้ ตั้งเป้าลบใน 0.32 และ api_server แบบเดิมถูก deprecate

vLLM ปล่อย 0.29.0 เมื่อ 9 ก.ย. 2026 (594 คอมมิตจาก 277 คน) โดยใช้ Model Runner V2 เป็นค่าเริ่มต้นกับทุกโมเดล และประกาศว่า V1 เลิกใช้แล้ว ตั้งเป้าลบในเวอร์ชัน 0.32 พร้อมเพิ่ม Hy4-preview กับ Qwen3.8-Flash-Next, เปิด FlashInfer all-reduce เป็นค่าเริ่มต้น และ deprecate คำสั่ง python -m vllm.entrypoints.openai.api_server

· อ่าน 5 นาที
OUI-1: ไฟน์จูน DiffusionGemma ให้เขียน UI ได้ 71.7% จากฐาน 13.0% — เปิดน้ำหนัก 4B active แต่ต้องอ่านเงื่อนไขให้ครบก่อนคิดว่ารันบนการ์ดเกมได้
โมเดลใหม่

OUI-1: ไฟน์จูน DiffusionGemma ให้เขียน UI ได้ 71.7% จากฐาน 13.0% — เปิดน้ำหนัก 4B active แต่ต้องอ่านเงื่อนไขให้ครบก่อนคิดว่ารันบนการ์ดเกมได้

8 ก.ย. Thesys ปล่อย OUI-1 โมเดล diffusion ตัวแรกที่ทำมาเพื่อสร้าง UI โดยเฉพาะ ไฟน์จูนจาก DiffusionGemma 26B-A4B ดันคะแนน Generative UI Benchmark จาก 13.0% เป็น 71.7% ด้วยพารามิเตอร์แอ็กทีฟแค่ 4B — แต่ไฟล์บน Hugging Face เป็น bf16 ขนาด 51.98 GB คอนเท็กซ์ที่เสิร์ฟจริงคือ 16,384 โทเคน และไลเซนส์เป็น Gemma Terms of Use ไม่ใช่โอเพนซอร์ส

· อ่าน 7 นาที
งานตรวจสอบ preregistered 52,988 คำขอสรุปว่า "ชื่อโมเดล" ไม่ใช่เครื่องมือวัดที่นิ่ง — ส่งคำขอเดิมทุกไบต์ซ้ำวันถัดมาได้อันดับตรงกันแค่ 0.78 จากเกณฑ์ 0.99 และผู้เขียนบอกเองว่าความรุนแรงส่วนหนึ่งเขาสร้างขึ้นมาเอง
งานวิจัย

งานตรวจสอบ preregistered 52,988 คำขอสรุปว่า "ชื่อโมเดล" ไม่ใช่เครื่องมือวัดที่นิ่ง — ส่งคำขอเดิมทุกไบต์ซ้ำวันถัดมาได้อันดับตรงกันแค่ 0.78 จากเกณฑ์ 0.99 และผู้เขียนบอกเองว่าความรุนแรงส่วนหนึ่งเขาสร้างขึ้นมาเอง

3 ก.ย. 2026 นักวิจัยจาก University of Sheffield และ Cambridge เผยแพร่ผลตรวจสอบแบบลงทะเบียนล่วงหน้าที่ล้มเหลวทั้งสองรอบก่อนได้ทดสอบสมมติฐานจริง — ผู้ตัดสิน LLM บนเอนด์พอยต์ที่ใช้ร่วมกันให้อันดับซ้ำในหน้าต่างเดียวกันตรงกันแค่ Spearman 0.400 และการเปลี่ยนผู้ให้บริการ การรอข้ามวัน หรือการโฮสต์เองก็ไม่ช่วย

· อ่าน 8 นาที
SGLang v0.5.19 ออกเช้านี้ — 786 PR, beam search ที่ยังใช้ร่วมกับ spec decoding ไม่ได้, radix tree รวมเป็นดีฟอลต์ และคู่มือรันโมเดลใหญ่บนการ์ดใบเดียว
เครื่องมือนักพัฒนา

SGLang v0.5.19 ออกเช้านี้ — 786 PR, beam search ที่ยังใช้ร่วมกับ spec decoding ไม่ได้, radix tree รวมเป็นดีฟอลต์ และคู่มือรันโมเดลใหญ่บนการ์ดใบเดียว

SGLang ปล่อย v0.5.19 เมื่อ 5 ก.ย. 2026 เวลา 02:27 UTC รวม 786 PR จากผู้ร่วมพัฒนา 214 คน — เพิ่ม beam search, ทำ unified radix tree เป็นดีฟอลต์ของทุกโมเดล, เร่ง decode บน AMD MI355X ได้ถึง 1.52 เท่า และเพิ่มคู่มือรัน MiniMax-H3 บน GPU 24 GB กับ Qwen3.8-27B บน RTX 5090 แต่มี breaking change 14 ข้อที่ต้องอ่านก่อนอัป

· อ่าน 7 นาที
Pipecat ปล่อย PhoneLLM Alpha 1 ใต้ BSD — ฟายน์จูน Nemotron 3 Nano 30B-A3B ดันคะแนน PhoneBench จาก 28.6% เป็น 72.3% เท่า GPT-5.6 Terra ที่ค่ารันถูกกว่า 14 เท่า
โมเดลใหม่

Pipecat ปล่อย PhoneLLM Alpha 1 ใต้ BSD — ฟายน์จูน Nemotron 3 Nano 30B-A3B ดันคะแนน PhoneBench จาก 28.6% เป็น 72.3% เท่า GPT-5.6 Terra ที่ค่ารันถูกกว่า 14 เท่า

27 ส.ค. 2026 ทีม Pipecat ของ Daily ปล่อย PhoneLLM Alpha 1 น้ำหนักเปิดใต้ BSD 2-Clause — ฟายน์จูนเต็มพารามิเตอร์จาก NVIDIA Nemotron 3 Nano 30B-A3B เฉพาะงานเอเจนต์รับสาย พร้อมเบนช์มาร์กของตัวเองชื่อ PhoneBench v1 ตัวเลขที่สำคัญที่สุดไม่ใช่ 72.3% แต่คือโมเดลฐานตัวเดียวกันได้แค่ 28.6%

· อ่าน 8 นาที
GLM-5.3 ตัวเต็มปล่อยน้ำหนักแล้ว — MoE 753B บน Hugging Face 755GB ในรูปแบบ FP8 แต่ใบอนุญาตไม่ใช่ MIT เหมือน Flash
โมเดลใหม่

GLM-5.3 ตัวเต็มปล่อยน้ำหนักแล้ว — MoE 753B บน Hugging Face 755GB ในรูปแบบ FP8 แต่ใบอนุญาตไม่ใช่ MIT เหมือน Flash

28 ส.ค. 2026 เวลา 15:22 UTC รีโป zai-org/GLM-5.3 บน Hugging Face เปิดสาธารณะ — โมเดลตัวเต็มที่ทำ Terminal-Bench 3.0 28.3 และ CyberGym 84.5 เมื่อกลางเดือนกลายเป็น open weights จริงแล้ว น้ำหนัก FP8 141 ชาร์ด รวม 755.7 GB (BF16 อีกรีโปหนึ่ง 1,506.7 GB) แต่ไฟล์ LICENSE ไม่ใช่ MIT แบบ GLM-5.3-Flash — เป็นใบอนุญาตเฉพาะที่มีเงื่อนไข Model-as-a-Service ผูกไว้

· อ่าน 8 นาที
Tencent ปล่อย Hy4 preview ใต้ Apache-2.0 — MoE 770B ที่กระตุ้น 49B และเป็นโมเดลระดับเรือธงตัวใหญ่ที่สุดที่ใบอนุญาตไม่มีเงื่อนไขแนบ
โมเดลใหม่

Tencent ปล่อย Hy4 preview ใต้ Apache-2.0 — MoE 770B ที่กระตุ้น 49B และเป็นโมเดลระดับเรือธงตัวใหญ่ที่สุดที่ใบอนุญาตไม่มีเงื่อนไขแนบ

27 ส.ค. 2026 ทีม Hy ของ Tencent อัปโหลด Hy4 preview ขึ้น Hugging Face — MoE 770B ที่กระตุ้น 49B ต่อโทเคน บริบท 1M ใช้ Gated DSA + IndexCache น้ำหนัก BF16 1,560 GB / FP8 813.8 GB ใต้ Apache-2.0 แท้ ๆ ตารางเบนช์ของ Tencent เองบอกว่ามันนำทุกเจ้ารวมถึง Claude Opus 5 บน SWE Atlas Codebase Q&A แต่รั้งท้ายบน Terminal-Bench 2.1 และตามหลัง GLM-5.3 บน GDPval

· อ่าน 9 นาที
Google ใส่ TPU เข้า vLLM สำหรับงาน embedding — เสิร์ฟ Qwen3-Embedding-8B ได้ 83,996 โทเคน/วินาที ที่บริบท 16K พร้อมยืนยัน cosine similarity ≥0.999 เทียบ GPU
เครื่องมือนักพัฒนา

Google ใส่ TPU เข้า vLLM สำหรับงาน embedding — เสิร์ฟ Qwen3-Embedding-8B ได้ 83,996 โทเคน/วินาที ที่บริบท 16K พร้อมยืนยัน cosine similarity ≥0.999 เทียบ GPU

26 ส.ค. 2026 Google Cloud ประกาศรองรับ TPU ใน vLLM สำหรับ pooling/embedding workload โดยตรง — รัน Qwen3-Embedding-8B ได้ 83,996 โทเคน/วินาที และ 5.13 req/s ที่บริบท 16K บน bfloat16 tensor parallel 4 พร้อมรองรับ Qwen3-VL-Embedding-8B แบบ multimodal ที่ 15K+ โทเคน และรายงาน cosine similarity ≥0.999 (ข้อความ) / ≥0.995 (มัลติโหมด) เทียบกับผลอ้างอิง

· อ่าน 5 นาที
Z.ai ปล่อย GLM-5.3-Flash เป็น open weights ใต้ MIT — MoE 320B ที่ใช้จริงแค่ 18B, multimodal ในตัว, บริบท 1M และทำ GDPVal-AA v2 นำทุกเจ้าในตาราง
โมเดลใหม่

Z.ai ปล่อย GLM-5.3-Flash เป็น open weights ใต้ MIT — MoE 320B ที่ใช้จริงแค่ 18B, multimodal ในตัว, บริบท 1M และทำ GDPVal-AA v2 นำทุกเจ้าในตาราง

26 ส.ค. 2026 Z.ai ปล่อย GLM-5.3-Flash พร้อมน้ำหนักเต็มบน Hugging Face ใต้ MIT — MoE 320B ที่กระตุ้นแค่ 18B ต่อโทเคน, เป็นตัวแรกในตระกูล GLM-5 ที่ multimodal โดยกำเนิด, ใช้สถาปัตยกรรมผสม linear + sparse attention รองรับบริบท 1 ล้านโทเคน และทำ GDPVal-AA v2 ได้ 1773 นำทั้ง Claude Opus 4.8, GPT-5.6 Terra และ Gemini 3.7 Flash ในตารางของ Z.ai เอง

· อ่าน 8 นาที
Qwen3.8-Flash-Next เปิดน้ำหนัก — 125B ที่กระตุ้นแค่ 6B บวก "พจนานุกรมวลี" 51B ที่ย้ายไปนั่งบน RAM ได้ เทรนถูกกว่ารุ่นพี่ 9 เท่า และเป็นตัวอย่างสถาปัตยกรรมของ Qwen4
โมเดลใหม่

Qwen3.8-Flash-Next เปิดน้ำหนัก — 125B ที่กระตุ้นแค่ 6B บวก "พจนานุกรมวลี" 51B ที่ย้ายไปนั่งบน RAM ได้ เทรนถูกกว่ารุ่นพี่ 9 เท่า และเป็นตัวอย่างสถาปัตยกรรมของ Qwen4

26 ส.ค. 2026 Qwen ปล่อย Qwen3.8-Flash-Next พร้อมน้ำหนักบน Hugging Face — MoE 125B ที่กระตุ้นแค่ 6B ต่อโทเคน บวกชั้น n-gram embedding 51B ที่ย้ายไปเก็บบน RAM ระบบได้ ใช้ Gated DeltaNet คู่กับ Qwen Sparse Attention ระดับ micro-block เทรนถูกกว่า Qwen3.7-Plus ราว 9 เท่า และ Qwen ประกาศตรง ๆ ว่านี่คือ preview ของสถาปัตยกรรมที่จะเป็น Qwen4

· อ่าน 8 นาที
vLLM 0.28 ออกแล้ววันนี้ — 584 คอมมิตจาก 270 คน ยก Kimi-K3 ทั้งสแต็ก เปิด sparse MLA ของ DeepSeek V4 ครบวง แล้วดัน max_num_batched_tokens ขึ้นเท่าตัว
เครื่องมือนักพัฒนา

vLLM 0.28 ออกแล้ววันนี้ — 584 คอมมิตจาก 270 คน ยก Kimi-K3 ทั้งสแต็ก เปิด sparse MLA ของ DeepSeek V4 ครบวง แล้วดัน max_num_batched_tokens ขึ้นเท่าตัว

26 ส.ค. 2026 vLLM ปล่อยเวอร์ชัน 0.28.0 — 584 คอมมิตจากผู้ร่วมพัฒนา 270 คน (หน้าใหม่ 76 คน) เน้นเร่ง Kimi-K3 ทั้งสแต็ก เปิดทาง sparse MLA ของ DeepSeek V4 ให้ใช้ได้ครบทั้ง decode/MTP/spec-decoding เพิ่ม disk offload ให้ KV cache และเปลี่ยนค่าดีฟอลต์ max_num_batched_tokens จาก 8192 เป็น 16384 พร้อม breaking change ที่ย้าย bitsandbytes ออกไปเป็นปลั๊กอินนอกทรี

· อ่าน 7 นาที
Apodex 1.1 mini ขึ้น Hugging Face เช้านี้ — MoE 36B ที่แอ็กทีฟแค่ 3B ต่อโทเคน คอนเท็กซ์ 262K ใบอนุญาต Apache-2.0 พร้อม harness แบบ Agent Team เปิดซอร์สมาให้ทั้งชุด
โมเดลใหม่

Apodex 1.1 mini ขึ้น Hugging Face เช้านี้ — MoE 36B ที่แอ็กทีฟแค่ 3B ต่อโทเคน คอนเท็กซ์ 262K ใบอนุญาต Apache-2.0 พร้อม harness แบบ Agent Team เปิดซอร์สมาให้ทั้งชุด

Apodex AI ประกาศ Apodex 1.1 เมื่อ 24 ส.ค. 2026 และอัปโหลดน้ำหนัก Apodex-1.1-mini ขึ้น Hugging Face ตอนเช้าวันที่ 25 ส.ค. — MoE 36B พารามิเตอร์รวมที่เลือกใช้ 8 จาก 256 expert ต่อโทเคน (แอ็กทีฟราว 3B) ต่อยอดจาก Qwen3.5-35B-A3B รับอินพุตภาพได้ คอนเท็กซ์ 262,144 โทเคน ใบอนุญาต Apache-2.0 และมาพร้อม FrontierAgent ที่เป็น harness แบบ ReAct/Agent Team เปิดซอร์สในใบอนุญาตเดียวกัน

· อ่าน 7 นาที
ถ้าโมเดลอยากยึดเครื่องที่รันมันเอง มันไม่ต้องแฮ็กอะไรเลย — แค่พ่นโทเคนให้ parser ของ vLLM เป็นคนทำแทน
งานวิจัย

ถ้าโมเดลอยากยึดเครื่องที่รันมันเอง มันไม่ต้องแฮ็กอะไรเลย — แค่พ่นโทเคนให้ parser ของ vLLM เป็นคนทำแทน

25 ส.ค. 2026 บทความจาก boydkane.com ตั้งโจทย์ที่ถูกมองข้าม — inference engine อย่าง vLLM และ SGLang ต้อง parse ผลลัพธ์ที่โมเดลพ่นออกมาให้เป็น tool call ซึ่งทำให้ parser กลายเป็น attack surface ที่โมเดลเข้าถึงได้โดยตรง หลักฐานว่ามันไม่ใช่เรื่องสมมติคือ CVE-2025-9141 ช่องโหว่ RCE ระดับ CVSS 8.8 ใน tool parser ของ Qwen3-Coder ที่ vLLM ใช้ eval() กับค่าพารามิเตอร์

· อ่าน 6 นาที
AsmEvo: ให้เอเจนต์แก้ GPU kernel ที่ "ไม่มีซอร์สโค้ดแล้ว" — รื้อไบนารีที่คอมไพล์เสร็จ แก้แอสเซมบลี แล้วเร็วขึ้นเฉลี่ย 1.35 เท่าบน MI308X
เครื่องมือนักพัฒนา

AsmEvo: ให้เอเจนต์แก้ GPU kernel ที่ "ไม่มีซอร์สโค้ดแล้ว" — รื้อไบนารีที่คอมไพล์เสร็จ แก้แอสเซมบลี แล้วเร็วขึ้นเฉลี่ย 1.35 เท่าบน MI308X

เปเปอร์ที่ขึ้น arXiv เมื่อ 21 ส.ค. 2026 เสนอเอเจนต์ที่ปรับจูน GPU kernel ของ AMD ในระดับแอสเซมบลี โดยไม่ต้องมีซอร์สโค้ด — รับไบนารีที่คอมไพล์แล้วเป็นอินพุต แก้ทีละบรรทัด แล้วรับเฉพาะเวอร์ชันที่ผ่านการตรวจสอบว่าให้ผลลัพธ์เท่ากันแบบบิตต่อบิต ปรับปรุงได้ 29 จาก 30 kernel ของ KernelBench และเร่ง kernel ที่ vLLM/SGLang ใช้จริง

· อ่าน 7 นาที
ทำไมโมเดลที่รันเองถึง "โง่กว่า" ที่เขาโฆษณา — การทดลองวัด logit ทีละตัวชี้ว่าแค่เปลี่ยน attention backend คำตอบก็เปลี่ยน
เครื่องมือนักพัฒนา

ทำไมโมเดลที่รันเองถึง "โง่กว่า" ที่เขาโฆษณา — การทดลองวัด logit ทีละตัวชี้ว่าแค่เปลี่ยน attention backend คำตอบก็เปลี่ยน

22 ส.ค. 2026 โพสต์ทดลองบน Level1Techs วัด logit เต็ม vocabulary ของ Qwen3.6-27B บน RTX PRO 6000 พบว่าแค่สลับ attention backend ใน vLLM โดยไม่แตะอย่างอื่น โทเคนที่โมเดลจะเลือกก็ต่างกันแล้ว ส่วน KV cache แบบ int4 กับ NVFP4 ทำ tool call พังจริงและสั่งคำสั่ง Cisco ผิด โดย NVFP4 แตะ ~50% token flip ที่ context 88k

· อ่าน 8 นาที
IsoExec ทำให้ trainer กับ vLLM คำนวณ logprob ตรงกันระดับบิต — ค่าเบี่ยงเบนสูงสุดต่อสเต็ปร่วงจาก 5.073 เหลือ ~0.044 แลกกับช้าลง 25.3%
เครื่องมือนักพัฒนา

IsoExec ทำให้ trainer กับ vLLM คำนวณ logprob ตรงกันระดับบิต — ค่าเบี่ยงเบนสูงสุดต่อสเต็ปร่วงจาก 5.073 เหลือ ~0.044 แลกกับช้าลง 25.3%

21 ส.ค. 2026 ทีม SkyRL เผยแพร่ IsoExec บนบล็อก vLLM — สัญญา execution contract บวกเคอร์เนลแบบ batch-invariant ที่บังคับให้ trainer (Megatron) กับ rollout engine (vLLM) ได้ logprob ตรงกันระดับบิต ทดสอบบน Qwen3.5-35B-A3B บน 8xH100 ค่าเบี่ยงเบนสูงสุดต่อสเต็ปลดจาก 5.073 เหลือราว 0.044 ต้นทุนคือ end-to-end ช้าลง 25.3% โค้ดเปิด Apache-2.0

· อ่าน 6 นาที
Nari Labs รีดเสียงพูดออกจาก Qwen3-TTS ได้ใน 50 มิลลิวินาที บน H100 ใบเดียว — ต้นทุนราว 2 ดอลลาร์ต่อล้านตัวอักษร ถูกกว่า ElevenLabs 50 เท่า
เครื่องมือนักพัฒนา

Nari Labs รีดเสียงพูดออกจาก Qwen3-TTS ได้ใน 50 มิลลิวินาที บน H100 ใบเดียว — ต้นทุนราว 2 ดอลลาร์ต่อล้านตัวอักษร ถูกกว่า ElevenLabs 50 เท่า

19 ส.ค. 2026 Nari Labs (ทีมผู้สร้าง Dia) เผยแพร่วิธีเสิร์ฟ Qwen3-TTS CustomVoice 1.7B ให้ได้ p95 time-to-first-audio ต่ำกว่า 50 ms ที่ 10 requests/วินาที บน H100 SXM ใบเดียว คิดเป็นต้นทุนราว 2 ดอลลาร์ต่อล้านตัวอักษร เทียบกับ ElevenLabs V3 ที่ 100 ดอลลาร์ พร้อมเปิดซอร์สทั้งโค้ดและเบนช์มาร์ก

· อ่าน 6 นาที
Qwen3.8 ปล่อยน้ำหนักจริงแล้ว — 2.4T MoE, active 95B, 4.89 TB บน Hugging Face และไลเซนส์ที่ไม่ใช่ Apache
โมเดลใหม่

Qwen3.8 ปล่อยน้ำหนักจริงแล้ว — 2.4T MoE, active 95B, 4.89 TB บน Hugging Face และไลเซนส์ที่ไม่ใช่ Apache

Alibaba อัปโหลดน้ำหนัก Qwen3.8-2.4T-A95B ขึ้น Hugging Face เมื่อ 12 ส.ค. 2026 ตอบสามคำถามที่ค้างมาตั้งแต่ต้นเดือน: active params 95B, ไลเซนส์เป็นสัญญาเฉพาะของ Qwen ไม่ใช่ Apache-2.0 และมีตาราง benchmark แล้ว แต่รุ่นเปิดเป็นโมเดลข้อความล้วน ไม่ใช่ multimodal เหมือนที่ขายผ่าน API

· อ่าน 7 นาที
NeMo Switchyard — NVIDIA ปล่อย model router โอเพนซอร์สเขียนด้วย Rust LangChain วัดได้ว่าลดค่าใช้จ่าย 74%
เครื่องมือนักพัฒนา

NeMo Switchyard — NVIDIA ปล่อย model router โอเพนซอร์สเขียนด้วย Rust LangChain วัดได้ว่าลดค่าใช้จ่าย 74%

11 ส.ค. 2026 NVIDIA ปล่อย NeMo Switchyard ไลบรารี routing โอเพนซอร์ส Apache 2.0 เขียนด้วย Rust ที่ส่งแต่ละขั้นของ agent ไปหาโมเดลที่เหมาะที่สุด แปลง API ระหว่าง OpenAI/Anthropic ให้อัตโนมัติ และ LangChain รายงานว่าลดค่าใช้จ่ายได้ 74% เทียบกับการใช้โมเดล frontier ล้วน

· อ่าน 6 นาที
NVIDIA ปล่อย Nemotron 3.5 Lightning — MoE 30B active 3B ใบอนุญาต OpenMDW context 1M เร็วเกือบ 670 โทเคน/วินาที
โมเดลใหม่

NVIDIA ปล่อย Nemotron 3.5 Lightning — MoE 30B active 3B ใบอนุญาต OpenMDW context 1M เร็วเกือบ 670 โทเคน/วินาที

11 ส.ค. 2026 NVIDIA เปิดตัว Nemotron 3.5 Lightning โมเดลเปิดตัวแรกของตระกูล 3.5 — hybrid Mamba-2 + MoE ขนาด 30B แต่ activate แค่ 3B, context 1 ล้านโทเคน, ใบอนุญาต OpenMDW-1.1 และทำความเร็วได้เกือบ 670 โทเคน/วินาที เทียบชั้นความฉลาดกับ gpt-oss-120b ที่ใหญ่กว่าราวสี่เท่า

· อ่าน 7 นาที
มีคนรัน DeepSeek V4 Flash 304B บน MI300X ใบเดียวได้ 168 tok/s แล้วเปิด config ทั้งชุด — แต่ของจริงที่ควรอ่านคือบั๊ก 3 ตัวที่ทำให้โมเดล 'โง่ลงเงียบ ๆ' บน AMD
เครื่องมือนักพัฒนา

มีคนรัน DeepSeek V4 Flash 304B บน MI300X ใบเดียวได้ 168 tok/s แล้วเปิด config ทั้งชุด — แต่ของจริงที่ควรอ่านคือบั๊ก 3 ตัวที่ทำให้โมเดล 'โง่ลงเงียบ ๆ' บน AMD

repo ที่เปิดเมื่อ 4 ส.ค. (Apache 2.0) ปล่อย Docker Compose stack ที่รัน DeepSeek-V4-Flash-0731 ขนาด 304B บน AMD MI300X ใบเดียวได้ 168.6 tok/s ต่อ stream และ prefill 7.9–8.5K tok/s — พร้อมบันทึกบั๊กระดับ kernel สามตัวที่ไม่ทำให้ระบบ crash แต่ทำให้โมเดลเรียกชื่อ tool ผิดและลืม schema

· อ่าน 7 นาที
Mistral ปล่อย Shieldstral โมเดล 3B เปิดน้ำหนัก Apache 2.0 สำหรับกรองเนื้อหา — จุดขายไม่ใช่ขนาด แต่คือ 'เขียนนโยบายเองตอน inference' ไม่ต้องเทรนใหม่
โมเดลใหม่

Mistral ปล่อย Shieldstral โมเดล 3B เปิดน้ำหนัก Apache 2.0 สำหรับกรองเนื้อหา — จุดขายไม่ใช่ขนาด แต่คือ 'เขียนนโยบายเองตอน inference' ไม่ต้องเทรนใหม่

Mistral เปิดตัว Shieldstral 1.0 (4 ส.ค.) โมเดลจัดประเภทความปลอดภัย 3B แบบ multimodal ใบอนุญาต Apache 2.0 รันได้บน GPU 16GB ใบเดียว — เปลี่ยนงาน moderation เป็นคำถาม yes/no ข้อเดียว ทำให้ผู้ใช้เขียนนโยบายเป็นภาษาคนส่งเข้าไปตอนเรียกใช้ได้เลย และยังชนะโมเดล guardrail ที่ใหญ่กว่าเกือบ 7 เท่า

· อ่าน 7 นาที
ทีม VIDRAFT เปิด config เต็มที่ทำสถิติ Fast Gemma Challenge — 510.58 TPS บน A10G ใบเดียว โดยไม่ให้คุณภาพหลุดเพดาน
เครื่องมือนักพัฒนา

ทีม VIDRAFT เปิด config เต็มที่ทำสถิติ Fast Gemma Challenge — 510.58 TPS บน A10G ใบเดียว โดยไม่ให้คุณภาพหลุดเพดาน

3 สิงหาคม 2026 ทีม VIDRAFT เผยแพร่ manifest.json ทั้งไฟล์ของสถิติ verified อันดับหนึ่งใน Fast Gemma Challenge — 510.58 token/วินาที บน NVIDIA A10G ใบเดียว ที่ PPL 2.3930 พร้อมอธิบายทุกปุ่มที่หมุน รวมถึงเหตุผลที่รันเร็วกว่าอย่าง 535.91 TPS ไม่ผ่านการตรวจซ้ำ

· อ่าน 7 นาที
MiniMax H3 ปล่อยน้ำหนักจริงแล้ววันนี้ 498GB — โมเดลวิดีโอเปิดที่แรงที่สุดในตลาด แต่ไลเซนส์ห้ามใช้ในสหรัฐฯ EU UK และเกาหลีใต้
โมเดลใหม่

MiniMax H3 ปล่อยน้ำหนักจริงแล้ววันนี้ 498GB — โมเดลวิดีโอเปิดที่แรงที่สุดในตลาด แต่ไลเซนส์ห้ามใช้ในสหรัฐฯ EU UK และเกาหลีใต้

หลังเปิดตัวผ่าน API เมื่อ 31 ก.ค. พร้อมสัญญาว่าจะปล่อยน้ำหนัก MiniMax ปล่อยจริงเช้าวันนี้ 3 ส.ค. — H3-Base 33B dense รวม 498GB ขึ้นอันดับ 1 บนกระดาน Video Editing ของ Artificial Analysis แต่ไลเซนส์กันสหรัฐฯ EU UK เกาหลีใต้ออกจากพื้นที่อนุญาต และโมดูลที่ทำให้ได้ 2K ไม่ได้เปิดมาด้วย

· อ่าน 8 นาที
น้ำหนัก Kimi K3 ลงจริงแล้ว 1.56 TB บน Hugging Face — แต่ไลเซนส์ไม่ใช่ MIT อย่างที่หลายสำนักข่าวรายงาน
โมเดลใหม่

น้ำหนัก Kimi K3 ลงจริงแล้ว 1.56 TB บน Hugging Face — แต่ไลเซนส์ไม่ใช่ MIT อย่างที่หลายสำนักข่าวรายงาน

Moonshot AI อัปโหลดน้ำหนัก Kimi K3 ขึ้น Hugging Face ตรงตามสัญญา 27 ก.ค. — 96 ชาร์ด รวม 1.56 TB แต่ไลเซนส์จริงชื่อ 'Kimi K3 License' ไม่ใช่ Modified MIT ตามที่หลายสำนักข่าวรายงาน และมีเงื่อนไขรายได้ 20 ล้านดอลลาร์กับ 100 ล้าน MAU ผูกอยู่

· อ่าน 6 นาที
vLLM v0.26.0 ออกแล้ว — 411 commit จาก 212 คน: เลือก attention backend แยกต่อ KV-cache group ได้ และ KV offloading ขึ้นชั้น object store เต็มตัว
เครื่องมือนักพัฒนา

vLLM v0.26.0 ออกแล้ว — 411 commit จาก 212 คน: เลือก attention backend แยกต่อ KV-cache group ได้ และ KV offloading ขึ้นชั้น object store เต็มตัว

vLLM ปล่อยเวอร์ชัน 0.26.0 (27 ก.ค. 2026) รวม 411 commit จากผู้ร่วมพัฒนา 212 คน — รองรับตระกูล Inkling เต็มสแตก, เร่ง DeepSeek-V4 หลายจุด, เลือก attention backend แยกรายกลุ่ม KV cache ได้เพื่อรองรับโมเดล hybrid และผลัก KV offloading ไปถึงชั้น object store พร้อมเมตริกครบ

· อ่าน 6 นาที
NVIDIA เปิด ModelExpress — ส่งเวตโมเดลข้าม GPU ตรง ๆ ลดเวลาสตาร์ต DeepSeek-V4 Pro จาก 8 นาที 44 วิ เหลือ 1 นาที 44 วิ
เครื่องมือนักพัฒนา

NVIDIA เปิด ModelExpress — ส่งเวตโมเดลข้าม GPU ตรง ๆ ลดเวลาสตาร์ต DeepSeek-V4 Pro จาก 8 นาที 44 วิ เหลือ 1 นาที 44 วิ

NVIDIA เปิดตัว ModelExpress ระบบกระจายเวตโมเดลที่ดึงจาก GPU เพื่อนบ้านผ่าน P2P RDMA แทนการโหลดซ้ำจาก object storage — ทดสอบกับ DeepSeek-V4 Pro บนโหนด 8xB200 ย้ายเวตและ JIT kernel cache ได้ในไม่ถึง 10 วินาที ลดเวลาสตาร์ตรวมจาก 8 นาที 44 วินาที เหลือ 1 นาที 44 วินาที

· อ่าน 5 นาที
vLLM ปล่อย AFD Plugin — แยก Attention กับ FFN ออกจากกันเพื่อเสิร์ฟโมเดล MoE ใหญ่ ๆ ให้คุ้มการ์ดขึ้น
เครื่องมือนักพัฒนา

vLLM ปล่อย AFD Plugin — แยก Attention กับ FFN ออกจากกันเพื่อเสิร์ฟโมเดล MoE ใหญ่ ๆ ให้คุ้มการ์ดขึ้น

vLLM เปิดปลั๊กอินทดลอง AFD (Attention-FFN Disaggregation) แยกส่วน attention กับ expert/FFN ออกไปรันเป็นบริการคนละก้อน สเกลอิสระต่อกัน — บน DeepSeek-V3.2 ทำ throughput เพิ่ม ~9–11% และลด TTFT จาก 15.1 เหลือ 8.0 วินาที รองรับทั้ง NVIDIA GPU และ Ascend NPU

· อ่าน 5 นาที
Hugging Face ออกคู่มือ "เตรียมโมเดลไว้ก่อนโดนแฮ็ก" — self-host GLM 5.2 ไว้ทำ forensic เพราะวันจริง API เจ้าใหญ่จะปฏิเสธคุณ
เครื่องมือนักพัฒนา

Hugging Face ออกคู่มือ "เตรียมโมเดลไว้ก่อนโดนแฮ็ก" — self-host GLM 5.2 ไว้ทำ forensic เพราะวันจริง API เจ้าใหญ่จะปฏิเสธคุณ

หลังเหตุบุกรุกกลางเดือน Hugging Face เผยแพร่คู่มือปฏิบัติ (20 ก.ค. 2026) ว่าด้วยการเตรียมโมเดล open-weight ไว้รันเองสำหรับงาน incident response — เลือก GLM 5.2 (MIT, 753B, context 1M) พร้อมสเปกเครื่องจริงและช่องทาง deploy บน Azure Foundry, AWS SageMaker และ Dell Enterprise Hub เหตุผลไม่ใช่เรื่องราคา แต่เพราะ guardrail ของ API เชิงพาณิชย์บล็อกงานวิเคราะห์ payload จริง

· อ่าน 6 นาที
Moonshot AI เปิดตัว Kimi K3 โมเดล 2.8 ล้านล้านพารามิเตอร์ ชนกับ Fable 5 และ GPT-5.6 — แต่น้ำหนักยังไม่ปล่อย รอ 27 ก.ค.
โมเดลใหม่

Moonshot AI เปิดตัว Kimi K3 โมเดล 2.8 ล้านล้านพารามิเตอร์ ชนกับ Fable 5 และ GPT-5.6 — แต่น้ำหนักยังไม่ปล่อย รอ 27 ก.ค.

Moonshot AI เปิดตัว Kimi K3 โมเดล MoE 2.8 ล้านล้านพารามิเตอร์ context 1 ล้านโทเคน ที่บริษัทเรียกว่า 'โมเดลเปิดระดับ 3T ตัวแรกของโลก' ใช้ได้แล้ววันนี้ผ่าน Kimi App/Code/API แต่น้ำหนักโมเดลจริงยังไม่ถูกปล่อย บริษัทระบุว่าจะปล่อยภายใน 27 กรกฎาคม 2026

· อ่าน 6 นาที
NVIDIA ปล่อย Nemotron 3 Embed — โมเดล embedding เปิดน้ำหนัก ขึ้นอันดับ 1 บน RTEB
โมเดลใหม่

NVIDIA ปล่อย Nemotron 3 Embed — โมเดล embedding เปิดน้ำหนัก ขึ้นอันดับ 1 บน RTEB

NVIDIA เปิดตัว Nemotron 3 Embed ชุดโมเดล embedding เปิดน้ำหนัก 3 ตัว ภายใต้สัญญาอนุญาต OpenMDW-1.1 ที่ใช้เชิงพาณิชย์ได้ โดยรุ่น 8B ทำคะแนน 78.46 NDCG@10 ขึ้นอันดับ 1 บนกระดาน RTEB — แต่คอลัมน์ชุดข้อมูลปิดที่เป็นหัวใจกันการ overfit ของ RTEB ถูกถอดออกตั้งแต่มกราคม

· อ่าน 5 นาที
NVIDIA ปล่อย Nemotron-3-Puzzle-75B-A9B โอเพนเวต — บีบโมเดล 120B เหลือ 75B แล้วได้ throughput เพิ่ม 2 เท่า
โมเดลใหม่

NVIDIA ปล่อย Nemotron-3-Puzzle-75B-A9B โอเพนเวต — บีบโมเดล 120B เหลือ 75B แล้วได้ throughput เพิ่ม 2 เท่า

NVIDIA เปิดน้ำหนัก Nemotron-Labs-3-Puzzle-75B-A9B ใต้ไลเซนส์ OpenMDW-1.1 — บีบโมเดลแม่ 120.7B/12.8B active ลงเหลือ 75.3B/9.3B active ได้ server throughput ราว 2 เท่าบน 8×B200 โดยยอมแลกความแม่นยำไปไม่กี่จุด

· อ่าน 6 นาที
Tencent ปล่อย Hy3 โอเพนเวต 295B ใต้ Apache 2.0 — active แค่ 21B แต่ไล่บี้โมเดลที่ใหญ่กว่า 2-5 เท่า
โมเดลใหม่

Tencent ปล่อย Hy3 โอเพนเวต 295B ใต้ Apache 2.0 — active แค่ 21B แต่ไล่บี้โมเดลที่ใหญ่กว่า 2-5 เท่า

Tencent เปิดน้ำหนัก Hy3 เมื่อ 6 ก.ค. 2026 — MoE 295B ที่ active เพียง 21B ต่อโทเคน context 256K ใต้ Apache 2.0 ไร้ข้อจำกัดเชิงพื้นที่ ทำ SWE-bench Verified 78.0 และ GPQA Diamond 90.4

· อ่าน 6 นาที
Hugging Face + vLLM: แบ็กเอนด์ transformers วิ่งเร็วเท่าโค้ดที่เขียนมือแล้ว — เสิร์ฟโมเดลไหนก็ได้บน vLLM ด้วยแฟล็กเดียว
เครื่องมือนักพัฒนา

Hugging Face + vLLM: แบ็กเอนด์ transformers วิ่งเร็วเท่าโค้ดที่เขียนมือแล้ว — เสิร์ฟโมเดลไหนก็ได้บน vLLM ด้วยแฟล็กเดียว

Hugging Face ประกาศว่าแบ็กเอนด์ transformers ใน vLLM ทำ throughput ได้เท่าหรือดีกว่าอิมพลิเมนต์ที่ vLLM เขียนมือเอง ด้วยเทคนิค dynamic layer fusion ตอนรันไทม์ผ่าน torch.fx ผลคือเสิร์ฟโมเดลบน Hub ตัวไหนก็ได้ รวมถึงโมเดลคัสตอม ด้วยแฟล็ก --model-impl transformers โดยไม่ต้องรอใครมาเขียนโค้ดรองรับ

· อ่าน 5 นาที
ZML ปล่อย LLMD ฟรี: เซิร์ฟเวอร์ inference ที่รันได้ทั้ง Nvidia, AMD, TPU, Apple Metal และ Intel Arc — แต่ครั้งนี้ไม่โอเพนซอร์ส
เครื่องมือนักพัฒนา

ZML ปล่อย LLMD ฟรี: เซิร์ฟเวอร์ inference ที่รันได้ทั้ง Nvidia, AMD, TPU, Apple Metal และ Intel Arc — แต่ครั้งนี้ไม่โอเพนซอร์ส

สตาร์ตอัพฝรั่งเศส ZML เปิดตัว LLMD เซิร์ฟเวอร์ inference ที่รันโมเดลได้บนชิปหลากค่าย ทั้ง Nvidia, AMD, Google TPU, Apple Metal และ Intel Arc ปล่อยให้ใช้ฟรีแต่ไม่ใช่โอเพนซอร์ส — ต่างจากเฟรมเวิร์กตัวเดิมของบริษัทที่เปิดโค้ดเมื่อปี 2024

· อ่าน 4 นาที
Agents-A1 — โมเดล agentic แบบเปิด 35B MoE (Apache 2.0) ที่กลั่นความเก่งจาก 'ครูหลายคน' มาสู้กับโมเดลระดับ frontier
โมเดลใหม่

Agents-A1 — โมเดล agentic แบบเปิด 35B MoE (Apache 2.0) ที่กลั่นความเก่งจาก 'ครูหลายคน' มาสู้กับโมเดลระดับ frontier

InternScience ปล่อย Agents-A1 โมเดล agentic แบบ open-weight ขนาด 35B MoE บริบท 256K ใบอนุญาต Apache 2.0 ฝึกด้วย multi-teacher on-policy distillation — กลั่นโมเดลผู้เชี่ยวชาญหลายโดเมนมารวมในนักเรียนตัวเดียว ทำคะแนน SOTA ในกลุ่ม 35B บนงาน long-horizon search และงานวิจัยเชิงวิทยาศาสตร์

· อ่าน 5 นาที
DeepSeek ปล่อย DSpark — Speculative Decoding ที่เร่ง DeepSeek-V4 เร็วขึ้น 60–85% ต่อผู้ใช้ พร้อมเปิดโค้ด DeepSpec ใต้ MIT
เครื่องมือนักพัฒนา

DeepSeek ปล่อย DSpark — Speculative Decoding ที่เร่ง DeepSeek-V4 เร็วขึ้น 60–85% ต่อผู้ใช้ พร้อมเปิดโค้ด DeepSpec ใต้ MIT

DeepSeek เปิดตัว DSpark เฟรมเวิร์ก speculative decoding ที่เร่งความเร็วการสร้างโทเคนต่อผู้ใช้บน DeepSeek-V4-Flash ขึ้น 60–85% และ V4-Pro 57–78% เทียบกับ MTP-1 พร้อมเปิดโค้ด DeepSpec สำหรับเทรน/ประเมิน drafter ใต้ไลเซนส์ MIT

· อ่าน 5 นาที
ลงมือทำ: เปิดเซิร์ฟเวอร์ vLLM บน Hugging Face Jobs ด้วยคำสั่งเดียว — เสิร์ฟโมเดลโอเพนเวตแบบ OpenAI-compatible จ่ายตามนาที
เครื่องมือนักพัฒนา

ลงมือทำ: เปิดเซิร์ฟเวอร์ vLLM บน Hugging Face Jobs ด้วยคำสั่งเดียว — เสิร์ฟโมเดลโอเพนเวตแบบ OpenAI-compatible จ่ายตามนาที

26 มิ.ย. 2026 Hugging Face ออกคู่มือใช้ `hf jobs run` ปั่นเซิร์ฟเวอร์ vLLM แบบ OpenAI-compatible สำหรับโมเดลโอเพนเวตตัวไหนก็ได้ในคำสั่งเดียว — เลือก GPU ด้วย --flavor, เปิดพอร์ตผ่าน public proxy ด้วย --expose, จ่ายตามนาที ไม่ต้องตั้งเซิร์ฟเวอร์เอง พร้อม SSH ดีบักและ tensor parallel สำหรับโมเดลใหญ่

· อ่าน 6 นาที
DiffusionGemma: Google เปิดโมเดลภาษาแบบ "diffusion" โอเพนเวตตัวแรก — สร้างข้อความทีละบล็อก เร็วกว่าเดิม 4 เท่า รันบน RTX 4090 ได้
โมเดลใหม่

DiffusionGemma: Google เปิดโมเดลภาษาแบบ "diffusion" โอเพนเวตตัวแรก — สร้างข้อความทีละบล็อก เร็วกว่าเดิม 4 เท่า รันบน RTX 4090 ได้

Google DeepMind ปล่อย DiffusionGemma โมเดลภาษาแบบ text-diffusion โอเพนเวตตัวแรกที่ขึ้น mainstream — MoE 26B (active 3.8B) สร้างข้อความทีละบล็อก 256 โทเคนพร้อมกันแทนการไล่ทีละโทเคน เร็วกว่าโมเดล autoregressive ได้ถึง 4 เท่า ภายใต้ Apache 2.0 และรันบน RTX 4090/5090 24GB ได้เมื่อ quantize

· อ่าน 6 นาที
DiffusionGemma: Google เปิดโมเดลภาษาแบบ diffusion — เขียนข้อความเร็วขึ้น 4 เท่า แก้ตัวเองได้กลางทาง
โมเดลใหม่

DiffusionGemma: Google เปิดโมเดลภาษาแบบ diffusion — เขียนข้อความเร็วขึ้น 4 เท่า แก้ตัวเองได้กลางทาง

เมื่อ 10 มิ.ย. Google ปล่อย developer guide ของ DiffusionGemma — โมเดล open weight 26B MoE ที่สร้างข้อความด้วย discrete diffusion แทนการไล่ทีละ token ทำให้เร็วขึ้นถึง 4 เท่า (1000+ tokens/วินาที บน H100) มองข้อความทั้งบล็อกพร้อมกันและแก้ที่ผิดได้กลางทาง

· อ่าน 5 นาที
vLLM v0.22.0 — เซิร์ฟเวอร์ inference ตัวหลักรองรับ DeepSeek V4 เต็มตัว, NVFP4 บน Blackwell และ MTP speculative decoding
เครื่องมือนักพัฒนา

vLLM v0.22.0 — เซิร์ฟเวอร์ inference ตัวหลักรองรับ DeepSeek V4 เต็มตัว, NVFP4 บน Blackwell และ MTP speculative decoding

vLLM ปล่อยเวอร์ชัน 0.22.0 ยกเครื่องการรองรับ DeepSeek V4 เป็นแพ็กเกจเฉพาะ เพิ่ม NVFP4 fused MoE บน Blackwell, MTP speculative decoding และ KV cache offloading หลายชั้น รวม 459 commit จาก 230 ผู้ร่วมพัฒนา

· อ่าน 5 นาที