แท็ก

#inference

44 บทความ

DeepSeek เปิดซอร์ส DeepInfer เอนจินที่รัน API จริงของตัวเอง (Apache-2.0) — รองรับแค่ V4.1-Flash บน Blackwell SM100 กับ Huawei Ascend 950 และตัดชิ้นส่วนสำคัญอย่าง KV cache และ load balancer ออก
เครื่องมือนักพัฒนา

DeepSeek เปิดซอร์ส DeepInfer เอนจินที่รัน API จริงของตัวเอง (Apache-2.0) — รองรับแค่ V4.1-Flash บน Blackwell SM100 กับ Huawei Ascend 950 และตัดชิ้นส่วนสำคัญอย่าง KV cache และ load balancer ออก

DeepSeek ปล่อย DeepInfer ภายใต้ Apache-2.0 เมื่อ 20 ต.ค. 2026 บอกว่าเป็นเฟรมเวิร์กเดียวกับที่ใช้ให้บริการ V4.1-Flash จริง (155 ล้านล้านโทเคนต่อวันต่อคลัสเตอร์) แต่รุ่นที่เปิดออกมาทำได้แค่ offline inference รองรับโมเดลเดียว ต้องใช้ GPU ตระกูล SM100 หรือ Ascend 950 และไม่มี KV cache store, การแยก prefill/decode กับ load balancer ซึ่งจำเป็นต่อการเปิดเป็นบริการ

· อ่าน 5 นาที
SGLang 0.5.22 ออกแล้ว — ตัด Python 3.10 แบบเงียบ ๆ, `--enable-dp-attention` ถูกแทนด้วย `--attn-dp-size`, รันบน Mac ได้ด้วย PyTorch และโหลดโมเดลเร็วขึ้น 10 เท่า
เครื่องมือนักพัฒนา

SGLang 0.5.22 ออกแล้ว — ตัด Python 3.10 แบบเงียบ ๆ, `--enable-dp-attention` ถูกแทนด้วย `--attn-dp-size`, รันบน Mac ได้ด้วย PyTorch และโหลดโมเดลเร็วขึ้น 10 เท่า

SGLang 0.5.22 ออกเมื่อ 19 ต.ค. 2026 (950 PR จาก 245 คน) ต้องใช้ Python 3.11 ขึ้นไป โดยบน 3.10 `pip install` จะไม่ error แต่จะได้เวอร์ชันเก่ามาแทน มี flag และ environment variable หลายตัวที่เปลี่ยนความหมาย ส่วนของใหม่คือรันบน Apple Silicon ด้วย PyTorch ได้, InstantTensor loader ที่โหลด DeepSeek-R1 ใน 15 วินาทีแทน 160 วินาที และ DeepSeek-V4.1 ได้ throughput ต่อ GPU บน H200 เพิ่มสูงสุด 2.3 เท่า

· อ่าน 4 นาที
vLLM 0.32 ออกแล้ว — CORS ไม่เปิดให้ทุก origin อีกต่อไป, ตัด Python 3.10, `max_tokens` เลิกกินพื้นที่ context, `/v1/systemone` เปิดเป็นค่าเริ่มต้น และ NVFP4 KV cache ลงมาถึง RTX/Ampere
เครื่องมือนักพัฒนา

vLLM 0.32 ออกแล้ว — CORS ไม่เปิดให้ทุก origin อีกต่อไป, ตัด Python 3.10, `max_tokens` เลิกกินพื้นที่ context, `/v1/systemone` เปิดเป็นค่าเริ่มต้น และ NVFP4 KV cache ลงมาถึง RTX/Ampere

vLLM 0.32.0 ออกเมื่อ 18 ต.ค. 2026 (814 คอมมิตจาก 363 คน) มี breaking change ที่ต้องอ่านก่อนอัปเกรด ได้แก่ CORS ไม่อนุญาตทุก origin เป็นค่าเริ่มต้นอีกต่อไป ต้องการ Python 3.11 ขึ้นไป `max_tokens` ไม่ถูกหักจาก context window แล้ว และชื่อ event reasoning ของ Responses API เปลี่ยน พร้อมแพตช์ช่องโหว่สามรายการ ส่วน endpoint ตัดสินใจ `/v1/systemone` เปิดให้ใช้เป็นค่าเริ่มต้น

· อ่าน 5 นาที
vLLM 0.31 ออกแล้ว — ใช้ `vllm preload` คำสั่งเดียวก็เก็บน้ำหนักค้างบน GPU ได้, snapshot ทั้ง engine ด้วย CRIU ลดเวลาเปิดจาก 54.7 เหลือ 20.4 วินาที และ endpoint สาธารณะปลอดภัยขึ้นเพราะปฏิเสธ multimodal kwargs ที่ส่งมากับคำขอเป็นค่าเริ่มต้น
เครื่องมือนักพัฒนา

vLLM 0.31 ออกแล้ว — ใช้ `vllm preload` คำสั่งเดียวก็เก็บน้ำหนักค้างบน GPU ได้, snapshot ทั้ง engine ด้วย CRIU ลดเวลาเปิดจาก 54.7 เหลือ 20.4 วินาที และ endpoint สาธารณะปลอดภัยขึ้นเพราะปฏิเสธ multimodal kwargs ที่ส่งมากับคำขอเป็นค่าเริ่มต้น

vLLM ปล่อย 0.31.0 เมื่อ 5 ต.ค. 2026 (717 คอมมิตจาก 307 คน) Fast Start ที่มาใน 0.30 กลายเป็นคำสั่ง `vllm preload` คำสั่งเดียว มี snapshot engine แบบทดลองที่ใช้ CRIU ซึ่งลดเวลาเปิด Qwen3-32B บน H100 ลง 62.7% และมี breaking change ด้านความปลอดภัยคือ endpoint ปฏิเสธ `mm_processor_kwargs` กับ `media_io_kwargs` ที่ส่งมากับคำขอเป็นค่าเริ่มต้น

· อ่าน 5 นาที
llama.cpp 0.5.0 ออกแล้ว + Vulkan int8 สำหรับ AMD RDNA3/4 — prompt processing บน Strix Halo เร็วขึ้นสูงสุด 1.36 เท่า แต่ต้องใช้ build b11160 ขึ้นไป ไม่ได้อยู่ใน 0.5.0
เครื่องมือนักพัฒนา

llama.cpp 0.5.0 ออกแล้ว + Vulkan int8 สำหรับ AMD RDNA3/4 — prompt processing บน Strix Halo เร็วขึ้นสูงสุด 1.36 เท่า แต่ต้องใช้ build b11160 ขึ้นไป ไม่ได้อยู่ใน 0.5.0

llama.cpp ปล่อย v0.5.0 เมื่อ 23 ก.ย. 2026 มาพร้อม ggml 0.25.0 รองรับ HRM-Text (DFM Mimir 1B) และแปลง MiMo-V2.6 ได้ --host ผูกได้หลายแอดเดรสรวมถึง UNIX socket และ function call ส่งภาพกลับได้ อีกหนึ่งวันต่อมา PR Vulkan int8 coopmat สำหรับ AMD RDNA3/RDNA4 ถูก merge ทำให้ pp512 บน Strix Halo เร็วขึ้น 1.06–1.36 เท่า แต่ฟีเจอร์นี้อยู่ใน nightly ตั้งแต่ b11160 ยังไม่อยู่ใน v0.5.0

· อ่าน 4 นาที
Inco Splash — engine รันโมเดลบน Mac ที่ "สร้างรอบโมเดล" รองรับแค่ 2 ตัว แต่ decode Qwen3.8-27B ได้ 74 tok/s เร็วกว่า oMLX 2 เท่า และตอบรอบถัดไปของ agent เร็วกว่า 7 เท่า (Apache-2.0)
เครื่องมือนักพัฒนา

Inco Splash — engine รันโมเดลบน Mac ที่ "สร้างรอบโมเดล" รองรับแค่ 2 ตัว แต่ decode Qwen3.8-27B ได้ 74 tok/s เร็วกว่า oMLX 2 เท่า และตอบรอบถัดไปของ agent เร็วกว่า 7 เท่า (Apache-2.0)

Inco AI ปล่อย Splash engine รันโมเดลบน Mac แบบโอเพนซอร์ส (Apache-2.0) ที่เขียน Metal kernel, draft model DFlash 2 และแผนหน่วยความจำเฉพาะให้ Qwen3.8-27B กับ Qwen3.6-35B-A3B บน M5 Pro 48GB วัดได้เร็วกว่า oMLX 1.7–2 เท่าตอน decode และ 6.6–7.3 เท่าตอนใช้ cache ซ้ำ แต่ตัวเลขทั้งหมดวัดโดย Inco เอง และต้องใช้ M3 ขึ้นไปกับแรม 36GB+

· อ่าน 5 นาที
Hugging Face จ้างผู้สร้าง oMLX มาทำเต็มเวลา — เซิร์ฟเวอร์ LLM บน Mac ที่มีดาว 22k ยังเป็น Apache 2.0 และเป้าต่อไปคือทำให้โมเดลใน transformers รันบน MLX ได้เร็วขึ้น
เครื่องมือนักพัฒนา

Hugging Face จ้างผู้สร้าง oMLX มาทำเต็มเวลา — เซิร์ฟเวอร์ LLM บน Mac ที่มีดาว 22k ยังเป็น Apache 2.0 และเป้าต่อไปคือทำให้โมเดลใน transformers รันบน MLX ได้เร็วขึ้น

22 ก.ย. 2026 Hugging Face ประกาศรับ Jun Kim ผู้สร้างและดูแล oMLX เซิร์ฟเวอร์ LLM บน Apple Silicon ที่มี continuous batching กับ KV cache สองชั้น (RAM + SSD) คุมจาก menu bar ของ macOS เข้าทีม โปรเจกต์ยังเป็น Apache 2.0 และ Jun ยังเป็นผู้นำ โดย HF จะเน้นทำทางลัดจาก model definition ใน transformers ไปเป็น implementation อ้างอิงบน MLX ที่ทุก engine ใช้ได้

· อ่าน 4 นาที
vLLM 0.30 ออกแล้ว — Fast Start เก็บน้ำหนักค้างไว้บน GPU ให้รีสตาร์ต engine ได้โดยไม่ต้องโหลดจากดิสก์, มีระบบลายน้ำ Gumbel-max ในตัว และมี breaking change ที่ต้องเช็กก่อนอัปเกรด
เครื่องมือนักพัฒนา

vLLM 0.30 ออกแล้ว — Fast Start เก็บน้ำหนักค้างไว้บน GPU ให้รีสตาร์ต engine ได้โดยไม่ต้องโหลดจากดิสก์, มีระบบลายน้ำ Gumbel-max ในตัว และมี breaking change ที่ต้องเช็กก่อนอัปเกรด

vLLM ปล่อย 0.30.0 เมื่อ 22 ก.ย. 2026 (762 คอมมิตจาก 315 คน) ฟีเจอร์หลักคือ Fast Start ที่ใช้ daemon เก็บน้ำหนักที่ quantize และแบ่ง TP แล้วไว้บน GPU ให้ engine ที่รีสตาร์ตแมปผ่าน CUDA IPC ได้เลย, ระบบลายน้ำข้อความแบบ Gumbel-max พร้อมตัวตรวจ, HiSparse ที่ย้าย KV ไปพักใน host memory และโมเดลใหม่อย่าง DeepSeek-V4.1-Flash กับ GLM-5.3-Flash ส่วน breaking change มีทั้ง --enable-scale-out, การถอด GPTQ g_idx และการเปลี่ยนพฤติกรรม YaRN

· อ่าน 5 นาที
vLLM 0.29 เปลี่ยนเครื่องยนต์เป็น Model Runner V2 ทุกโมเดล — V1 ถูกประกาศเลิกใช้ ตั้งเป้าลบใน 0.32 และ api_server แบบเดิมถูก deprecate
เครื่องมือนักพัฒนา

vLLM 0.29 เปลี่ยนเครื่องยนต์เป็น Model Runner V2 ทุกโมเดล — V1 ถูกประกาศเลิกใช้ ตั้งเป้าลบใน 0.32 และ api_server แบบเดิมถูก deprecate

vLLM ปล่อย 0.29.0 เมื่อ 9 ก.ย. 2026 (594 คอมมิตจาก 277 คน) โดยใช้ Model Runner V2 เป็นค่าเริ่มต้นกับทุกโมเดล และประกาศว่า V1 เลิกใช้แล้ว ตั้งเป้าลบในเวอร์ชัน 0.32 พร้อมเพิ่ม Hy4-preview กับ Qwen3.8-Flash-Next, เปิด FlashInfer all-reduce เป็นค่าเริ่มต้น และ deprecate คำสั่ง python -m vllm.entrypoints.openai.api_server

· อ่าน 5 นาที
llama.cpp 0.4.0 ออกแล้ว — โหลดเทนเซอร์แบบขี้เกียจลด RAM ได้ 16%, --n-cpu-ffn สำหรับโมเดล dense และ sparse FA ที่เร็วขึ้น 2 เท่าเมื่อคอนเท็กซ์ยาว
เครื่องมือนักพัฒนา

llama.cpp 0.4.0 ออกแล้ว — โหลดเทนเซอร์แบบขี้เกียจลด RAM ได้ 16%, --n-cpu-ffn สำหรับโมเดล dense และ sparse FA ที่เร็วขึ้น 2 เท่าเมื่อคอนเท็กซ์ยาว

llama.cpp ปล่อย v0.4.0 เมื่อ 4 ก.ย. 2026 — เป็นเวอร์ชัน minor ที่สี่ภายใน 18 วัน เพิ่ม --lazy-mode ที่อ่านเทนเซอร์ขนาดใหญ่ผ่าน mmap แทนการโหลดทั้งก้อน (ลด peak RAM 16% แลกกับ tg ช้าลง 8-11%), --n-cpu-ffn สำหรับโมเดล dense และ sparse flash attention ที่ให้ 2.03 เท่าที่คอนเท็กซ์ 524K

· อ่าน 6 นาที
SGLang v0.5.19 ออกเช้านี้ — 786 PR, beam search ที่ยังใช้ร่วมกับ spec decoding ไม่ได้, radix tree รวมเป็นดีฟอลต์ และคู่มือรันโมเดลใหญ่บนการ์ดใบเดียว
เครื่องมือนักพัฒนา

SGLang v0.5.19 ออกเช้านี้ — 786 PR, beam search ที่ยังใช้ร่วมกับ spec decoding ไม่ได้, radix tree รวมเป็นดีฟอลต์ และคู่มือรันโมเดลใหญ่บนการ์ดใบเดียว

SGLang ปล่อย v0.5.19 เมื่อ 5 ก.ย. 2026 เวลา 02:27 UTC รวม 786 PR จากผู้ร่วมพัฒนา 214 คน — เพิ่ม beam search, ทำ unified radix tree เป็นดีฟอลต์ของทุกโมเดล, เร่ง decode บน AMD MI355X ได้ถึง 1.52 เท่า และเพิ่มคู่มือรัน MiniMax-H3 บน GPU 24 GB กับ Qwen3.8-27B บน RTX 5090 แต่มี breaking change 14 ข้อที่ต้องอ่านก่อนอัป

· อ่าน 7 นาที
Ollama เลิกคิดเงินตามเวลา GPU เปลี่ยนเป็นต่อโทเคน — Pro $20 ได้เครดิต $60 แต่ราคาต่อโทเคนคือราคาป้ายของผู้ผลิตเป๊ะ แปลว่าส่วนลด off-peak และโปรฯ ของต้นทางไม่ถูกส่งต่อ
เครื่องมือนักพัฒนา

Ollama เลิกคิดเงินตามเวลา GPU เปลี่ยนเป็นต่อโทเคน — Pro $20 ได้เครดิต $60 แต่ราคาต่อโทเคนคือราคาป้ายของผู้ผลิตเป๊ะ แปลว่าส่วนลด off-peak และโปรฯ ของต้นทางไม่ถูกส่งต่อ

31 ส.ค. 2026 Ollama ยกเครื่องราคาแพลน Pro/Max/Team จากการคิดตามเวลา GPU มาเป็นต่อโทเคนพร้อมพูลเครดิตรายเดือน — Pro $20 ได้ $60, Max $100 ได้ $300, Team $500 ได้ $1,000 แต่เมื่อเทียบราคาต่อโทเคนกับเอกสารของ DeepSeek และ Z.ai โดยตรง พบว่าตรงกับราคาป้ายทุกช่อง จึงไม่มีทั้งบวกเพิ่มและส่วนลด off-peak หรือโปรโมชันของต้นทาง

· อ่าน 7 นาที
Google ใส่ TPU เข้า vLLM สำหรับงาน embedding — เสิร์ฟ Qwen3-Embedding-8B ได้ 83,996 โทเคน/วินาที ที่บริบท 16K พร้อมยืนยัน cosine similarity ≥0.999 เทียบ GPU
เครื่องมือนักพัฒนา

Google ใส่ TPU เข้า vLLM สำหรับงาน embedding — เสิร์ฟ Qwen3-Embedding-8B ได้ 83,996 โทเคน/วินาที ที่บริบท 16K พร้อมยืนยัน cosine similarity ≥0.999 เทียบ GPU

26 ส.ค. 2026 Google Cloud ประกาศรองรับ TPU ใน vLLM สำหรับ pooling/embedding workload โดยตรง — รัน Qwen3-Embedding-8B ได้ 83,996 โทเคน/วินาที และ 5.13 req/s ที่บริบท 16K บน bfloat16 tensor parallel 4 พร้อมรองรับ Qwen3-VL-Embedding-8B แบบ multimodal ที่ 15K+ โทเคน และรายงาน cosine similarity ≥0.999 (ข้อความ) / ≥0.995 (มัลติโหมด) เทียบกับผลอ้างอิง

· อ่าน 5 นาที
vLLM 0.28 ออกแล้ววันนี้ — 584 คอมมิตจาก 270 คน ยก Kimi-K3 ทั้งสแต็ก เปิด sparse MLA ของ DeepSeek V4 ครบวง แล้วดัน max_num_batched_tokens ขึ้นเท่าตัว
เครื่องมือนักพัฒนา

vLLM 0.28 ออกแล้ววันนี้ — 584 คอมมิตจาก 270 คน ยก Kimi-K3 ทั้งสแต็ก เปิด sparse MLA ของ DeepSeek V4 ครบวง แล้วดัน max_num_batched_tokens ขึ้นเท่าตัว

26 ส.ค. 2026 vLLM ปล่อยเวอร์ชัน 0.28.0 — 584 คอมมิตจากผู้ร่วมพัฒนา 270 คน (หน้าใหม่ 76 คน) เน้นเร่ง Kimi-K3 ทั้งสแต็ก เปิดทาง sparse MLA ของ DeepSeek V4 ให้ใช้ได้ครบทั้ง decode/MTP/spec-decoding เพิ่ม disk offload ให้ KV cache และเปลี่ยนค่าดีฟอลต์ max_num_batched_tokens จาก 8192 เป็น 16384 พร้อม breaking change ที่ย้าย bitsandbytes ออกไปเป็นปลั๊กอินนอกทรี

· อ่าน 7 นาที
AsmEvo: ให้เอเจนต์แก้ GPU kernel ที่ "ไม่มีซอร์สโค้ดแล้ว" — รื้อไบนารีที่คอมไพล์เสร็จ แก้แอสเซมบลี แล้วเร็วขึ้นเฉลี่ย 1.35 เท่าบน MI308X
เครื่องมือนักพัฒนา

AsmEvo: ให้เอเจนต์แก้ GPU kernel ที่ "ไม่มีซอร์สโค้ดแล้ว" — รื้อไบนารีที่คอมไพล์เสร็จ แก้แอสเซมบลี แล้วเร็วขึ้นเฉลี่ย 1.35 เท่าบน MI308X

เปเปอร์ที่ขึ้น arXiv เมื่อ 21 ส.ค. 2026 เสนอเอเจนต์ที่ปรับจูน GPU kernel ของ AMD ในระดับแอสเซมบลี โดยไม่ต้องมีซอร์สโค้ด — รับไบนารีที่คอมไพล์แล้วเป็นอินพุต แก้ทีละบรรทัด แล้วรับเฉพาะเวอร์ชันที่ผ่านการตรวจสอบว่าให้ผลลัพธ์เท่ากันแบบบิตต่อบิต ปรับปรุงได้ 29 จาก 30 kernel ของ KernelBench และเร่ง kernel ที่ vLLM/SGLang ใช้จริง

· อ่าน 7 นาที
โทเคนจากเอเจนต์บน OpenRouter โต 14 เท่าใน 6 เดือน — และ 6 ก.พ. 2026 อาจเป็นวันสุดท้ายที่มนุษย์ใช้โทเคนมากกว่า AI
ธุรกิจและกฎหมาย

โทเคนจากเอเจนต์บน OpenRouter โต 14 เท่าใน 6 เดือน — และ 6 ก.พ. 2026 อาจเป็นวันสุดท้ายที่มนุษย์ใช้โทเคนมากกว่า AI

ข้อมูลจาก OpenRouter ที่ Peter Walker นักวิเคราะห์ของบริษัทนำมาเผยแพร่ ชี้ว่าโทเคนที่ถูกเรียกใช้โดยเอเจนต์โตจาก 0.51 ล้านล้านในเดือน ก.พ. เป็น 7.3 ล้านล้านภายใน 10 ส.ค. ขณะที่การใช้งานจากมนุษย์โตเพียง 2.8 เท่า — แต่ค่าใช้จ่ายจริงไม่ได้โตตาม เพราะเกือบ 70% ของโทเคนเอเจนต์มาจากพรอมป์ที่แคชไว้

· อ่าน 5 นาที
FreeToken: เสิร์ฟ GLM-5.2 ขนาด 753B บนการ์ดจอใบเดียวได้ 14.9 tok/s เร็วกว่า llama.cpp เท่าตัว — เพราะเลิกตัดสินใจล่วงหน้าว่าอะไรอยู่บน GPU
เครื่องมือนักพัฒนา

FreeToken: เสิร์ฟ GLM-5.2 ขนาด 753B บนการ์ดจอใบเดียวได้ 14.9 tok/s เร็วกว่า llama.cpp เท่าตัว — เพราะเลิกตัดสินใจล่วงหน้าว่าอะไรอยู่บน GPU

เปเปอร์ FreeToken ขึ้น arXiv เมื่อ 17 ส.ค. 2026 พร้อมโค้ด Apache-2.0 โดยมี Ion Stoica, Matei Zaharia, Song Han และ Kurt Keutzer ร่วมเป็นผู้เขียน — เอ็นจิ้นเสิร์ฟโมเดล MoE ที่วัดแบนด์วิดท์ของเครื่องจริงแล้วแบ่งงานระหว่าง CPU กับ GPU ใหม่ระหว่างรัน ทำให้โน้ตบุ๊ก RTX 4060 8GB รันโมเดล 35B ได้ 39.3 tok/s และเวิร์กสเตชันการ์ดใบเดียวเสิร์ฟ GLM-5.2 753B ได้

· อ่าน 7 นาที
Cerebras CS-4 เอาเวเฟอร์ทั้งแผ่นสามใบมาต่อกันในแร็คเดียว — แต่ตัวเลข 750 PFLOPS ที่โฆษณาคือ sparse FP16 และ SRAM ไม่ได้เพิ่มขึ้นเลยแม้แต่ไบต์เดียว
ผลิตภัณฑ์

Cerebras CS-4 เอาเวเฟอร์ทั้งแผ่นสามใบมาต่อกันในแร็คเดียว — แต่ตัวเลข 750 PFLOPS ที่โฆษณาคือ sparse FP16 และ SRAM ไม่ได้เพิ่มขึ้นเลยแม้แต่ไบต์เดียว

19 ส.ค. 2026 Cerebras เปิดตัว CS-4 ระบบแร็คสเกลรุ่นแรกที่ต่อเวเฟอร์ WSE-3 Turbo สามแผ่นเข้าด้วยกัน ให้ 750 PFLOPS และ SRAM รวม 132GB พร้อมอ้าง inference เร็วกว่าระบบ GPU ถึง 30 เท่า — แต่เมื่ออ่านสเปกละเอียดจะพบว่า WSE-3 Turbo คือชิปเดิมที่เร่งสัญญาณนาฬิกาเป็นสองเท่า และหน่วยความจำบนเวเฟอร์ไม่ได้โตตามการประมวลผลเลย

· อ่าน 6 นาที
OpenRouter ยืนยันดีล Stripe ด้วยปากตัวเอง — เปิดตัวเลข 10 ล้านล้านโทเคนต่อวัน นักพัฒนา 10 ล้านราย และสัญญาว่า "การเลือกเส้นทางจะยึดสิ่งที่ดีที่สุดกับผู้ใช้เท่านั้น"
ธุรกิจและกฎหมาย

OpenRouter ยืนยันดีล Stripe ด้วยปากตัวเอง — เปิดตัวเลข 10 ล้านล้านโทเคนต่อวัน นักพัฒนา 10 ล้านราย และสัญญาว่า "การเลือกเส้นทางจะยึดสิ่งที่ดีที่สุดกับผู้ใช้เท่านั้น"

19 ส.ค. 2026 OpenRouter ออกประกาศของตัวเองยืนยันการเข้าร่วมกับ Stripe พร้อมเปิดตัวเลขที่ไม่เคยเปิดมาก่อน — ประมวลผลเกิน 10 ล้านล้านโทเคนต่อวัน รองรับโมเดลกว่า 400 ตัว ให้บริการนักพัฒนาและบริษัทกว่า 10 ล้านราย และปริมาณ inference โต 10 เท่าต่อปี พร้อมยืนยันว่า API ราคา และความเป็นกลางระหว่างค่ายจะไม่เปลี่ยน

· อ่าน 5 นาที
NVIDIA เปิด TensorRT Model Connect — จาก checkpoint บน Hugging Face ไปถึง C++ inference ด้วยสองคำสั่ง ไม่ต้องแวะ ONNX
เครื่องมือนักพัฒนา

NVIDIA เปิด TensorRT Model Connect — จาก checkpoint บน Hugging Face ไปถึง C++ inference ด้วยสองคำสั่ง ไม่ต้องแวะ ONNX

NVIDIA เผยแพร่ TensorRT Model Connect ภายใต้ Apache 2.0 — เครื่องมือ CLI ที่แปลง checkpoint จาก Hugging Face เป็น .bundle แล้วรัน inference ผ่าน C++ API ได้โดยไม่ต้องมี PyTorch ใน runtime และไม่ต้อง export ONNX กลางทาง MarkTechPost รายงานการเปิด public preview เมื่อ 18 ส.ค. 2026

· อ่าน 5 นาที
Stripe ปิดดีลซื้อ OpenRouter กว่า 7 พันล้านดอลลาร์ — เกตเวย์กลางที่นักพัฒนาใช้หนีการล็อกอินกับค่ายเดียว กำลังมีเจ้าของ
ธุรกิจและกฎหมาย

Stripe ปิดดีลซื้อ OpenRouter กว่า 7 พันล้านดอลลาร์ — เกตเวย์กลางที่นักพัฒนาใช้หนีการล็อกอินกับค่ายเดียว กำลังมีเจ้าของ

Bloomberg รายงาน 16 ส.ค. 2026 ว่า Stripe ตกลงซื้อ OpenRouter — เกตเวย์ที่ให้เรียกโมเดลกว่า 400 ตัวผ่าน API เดียว — ด้วยมูลค่ากว่า 7 พันล้านดอลลาร์ สูงกว่ามูลค่ารอบ Series B เมื่อเดือน พ.ค. ราวห้าเท่า

· อ่าน 5 นาที
OpenAI เปิดพรีวิว Ultrafast — GPT-5.6 Sol ตัวเดิม แต่วิ่งที่ 750 โทเค็น/วินาที บนชิป Cerebras
ผลิตภัณฑ์

OpenAI เปิดพรีวิว Ultrafast — GPT-5.6 Sol ตัวเดิม แต่วิ่งที่ 750 โทเค็น/วินาที บนชิป Cerebras

OpenAI เปิดตัว Ultrafast เมื่อ 13 ส.ค. 2026 — service tier ใหม่ที่รัน GPT-5.6 Sol เร็วขึ้นถึง 14 เท่าที่ 750 โทเค็นเอาต์พุตต่อวินาที โดยใช้ชิป wafer-scale ของ Cerebras ยังเป็นพรีวิวจำกัดเฉพาะลูกค้ากลุ่มเล็กและยังไม่ประกาศราคา

· อ่าน 5 นาที
Mojo 1.0 ออกแล้ว — ภาษาที่เขียน CPU กับ GPU ด้วยไวยากรณ์เดียวเข้าสู่สถานะเสถียร พร้อม AI Skills สำหรับเขียน GPU kernel
เครื่องมือนักพัฒนา

Mojo 1.0 ออกแล้ว — ภาษาที่เขียน CPU กับ GPU ด้วยไวยากรณ์เดียวเข้าสู่สถานะเสถียร พร้อม AI Skills สำหรับเขียน GPU kernel

11 ส.ค. 2026 Modular ปล่อย 26.5 พร้อมประกาศ Mojo 1.0 — ภาษาที่ Chris Lattner สร้างเพื่อเขียนโค้ดประสิทธิภาพสูงบน CPU และ GPU ด้วยไวยากรณ์แบบ Python เข้าสู่สถานะเสถียร การเปลี่ยนแปลงในยุค 1.x จะเป็นการเพิ่มเป็นหลัก และ MAX รุ่นเดียวกันรองรับ GLM-5.2 กับ Nemotron-H แล้ว

· อ่าน 6 นาที
Cloudflare เปิดตัวเลขจริงของการรีดโมเดลเปิดลง GPU — FP8 KV cache ดัน Kimi K2.6 จาก 686K เป็น 1.37M token, INT4 ย่อ GLM 5.2 จาก 705GB เหลือ 421GB
เครื่องมือนักพัฒนา

Cloudflare เปิดตัวเลขจริงของการรีดโมเดลเปิดลง GPU — FP8 KV cache ดัน Kimi K2.6 จาก 686K เป็น 1.37M token, INT4 ย่อ GLM 5.2 จาก 705GB เหลือ 421GB

Cloudflare เผยเทคนิคสามชั้นที่ใช้เสิร์ฟ Kimi K2.6 และ GLM 5.2 บน Workers AI — บีบ KV cache เป็น FP8 เพิ่ม context ที่ค้างในหน่วยความจำได้เท่าตัว, บีบน้ำหนัก GLM เป็น INT4 ลดเช็คพอยต์ 40% และเพิ่ม decode สูงสุด 55% พร้อมตารางเบนช์มาร์กที่บอกว่าความแม่นยำไม่ตก

· อ่าน 7 นาที
ทีม VIDRAFT เปิด config เต็มที่ทำสถิติ Fast Gemma Challenge — 510.58 TPS บน A10G ใบเดียว โดยไม่ให้คุณภาพหลุดเพดาน
เครื่องมือนักพัฒนา

ทีม VIDRAFT เปิด config เต็มที่ทำสถิติ Fast Gemma Challenge — 510.58 TPS บน A10G ใบเดียว โดยไม่ให้คุณภาพหลุดเพดาน

3 สิงหาคม 2026 ทีม VIDRAFT เผยแพร่ manifest.json ทั้งไฟล์ของสถิติ verified อันดับหนึ่งใน Fast Gemma Challenge — 510.58 token/วินาที บน NVIDIA A10G ใบเดียว ที่ PPL 2.3930 พร้อมอธิบายทุกปุ่มที่หมุน รวมถึงเหตุผลที่รันเร็วกว่าอย่าง 535.91 TPS ไม่ผ่านการตรวจซ้ำ

· อ่าน 7 นาที
รัน Kimi K3 (2.8T) บน AMD MI355X ได้ 952 tok/s ต่อโหนด — Wafer ชี้ประสิทธิภาพต่อดอลลาร์ชนะ B300 ทั้งที่ throughput ต่ำกว่า 1.65 เท่า
เครื่องมือนักพัฒนา

รัน Kimi K3 (2.8T) บน AMD MI355X ได้ 952 tok/s ต่อโหนด — Wafer ชี้ประสิทธิภาพต่อดอลลาร์ชนะ B300 ทั้งที่ throughput ต่ำกว่า 1.65 เท่า

31 กรกฎาคม 2026 Ian Ye จาก Wafer เผยผลรัน Kimi K3 ขนาด 2.8T พารามิเตอร์บน AMD MI355X 8 ใบได้ 952 tok/s ต่อโหนด และ 118 tok/s ต่อสตรีม — แพ้ B300 ด้าน throughput รวมราว 1.65 เท่า แต่ชนะด้าน tok/s ต่อดอลลาร์ 48 ต่อ 33 พร้อมเล่าบั๊ก ROCm สองตัวที่ต้องแก้เองและวิธีแก้ที่สั้นกว่าที่คิด

· อ่าน 7 นาที
vLLM v0.26.0 ออกแล้ว — 411 commit จาก 212 คน: เลือก attention backend แยกต่อ KV-cache group ได้ และ KV offloading ขึ้นชั้น object store เต็มตัว
เครื่องมือนักพัฒนา

vLLM v0.26.0 ออกแล้ว — 411 commit จาก 212 คน: เลือก attention backend แยกต่อ KV-cache group ได้ และ KV offloading ขึ้นชั้น object store เต็มตัว

vLLM ปล่อยเวอร์ชัน 0.26.0 (27 ก.ค. 2026) รวม 411 commit จากผู้ร่วมพัฒนา 212 คน — รองรับตระกูล Inkling เต็มสแตก, เร่ง DeepSeek-V4 หลายจุด, เลือก attention backend แยกรายกลุ่ม KV cache ได้เพื่อรองรับโมเดล hybrid และผลัก KV offloading ไปถึงชั้น object store พร้อมเมตริกครบ

· อ่าน 6 นาที
NVIDIA เปิด ModelExpress — ส่งเวตโมเดลข้าม GPU ตรง ๆ ลดเวลาสตาร์ต DeepSeek-V4 Pro จาก 8 นาที 44 วิ เหลือ 1 นาที 44 วิ
เครื่องมือนักพัฒนา

NVIDIA เปิด ModelExpress — ส่งเวตโมเดลข้าม GPU ตรง ๆ ลดเวลาสตาร์ต DeepSeek-V4 Pro จาก 8 นาที 44 วิ เหลือ 1 นาที 44 วิ

NVIDIA เปิดตัว ModelExpress ระบบกระจายเวตโมเดลที่ดึงจาก GPU เพื่อนบ้านผ่าน P2P RDMA แทนการโหลดซ้ำจาก object storage — ทดสอบกับ DeepSeek-V4 Pro บนโหนด 8xB200 ย้ายเวตและ JIT kernel cache ได้ในไม่ถึง 10 วินาที ลดเวลาสตาร์ตรวมจาก 8 นาที 44 วินาที เหลือ 1 นาที 44 วินาที

· อ่าน 5 นาที
vLLM ปล่อย AFD Plugin — แยก Attention กับ FFN ออกจากกันเพื่อเสิร์ฟโมเดล MoE ใหญ่ ๆ ให้คุ้มการ์ดขึ้น
เครื่องมือนักพัฒนา

vLLM ปล่อย AFD Plugin — แยก Attention กับ FFN ออกจากกันเพื่อเสิร์ฟโมเดล MoE ใหญ่ ๆ ให้คุ้มการ์ดขึ้น

vLLM เปิดปลั๊กอินทดลอง AFD (Attention-FFN Disaggregation) แยกส่วน attention กับ expert/FFN ออกไปรันเป็นบริการคนละก้อน สเกลอิสระต่อกัน — บน DeepSeek-V3.2 ทำ throughput เพิ่ม ~9–11% และลด TTFT จาก 15.1 เหลือ 8.0 วินาที รองรับทั้ง NVIDIA GPU และ Ascend NPU

· อ่าน 5 นาที
Hugging Face + vLLM: แบ็กเอนด์ transformers วิ่งเร็วเท่าโค้ดที่เขียนมือแล้ว — เสิร์ฟโมเดลไหนก็ได้บน vLLM ด้วยแฟล็กเดียว
เครื่องมือนักพัฒนา

Hugging Face + vLLM: แบ็กเอนด์ transformers วิ่งเร็วเท่าโค้ดที่เขียนมือแล้ว — เสิร์ฟโมเดลไหนก็ได้บน vLLM ด้วยแฟล็กเดียว

Hugging Face ประกาศว่าแบ็กเอนด์ transformers ใน vLLM ทำ throughput ได้เท่าหรือดีกว่าอิมพลิเมนต์ที่ vLLM เขียนมือเอง ด้วยเทคนิค dynamic layer fusion ตอนรันไทม์ผ่าน torch.fx ผลคือเสิร์ฟโมเดลบน Hub ตัวไหนก็ได้ รวมถึงโมเดลคัสตอม ด้วยแฟล็ก --model-impl transformers โดยไม่ต้องรอใครมาเขียนโค้ดรองรับ

· อ่าน 5 นาที
ZML ปล่อย LLMD ฟรี: เซิร์ฟเวอร์ inference ที่รันได้ทั้ง Nvidia, AMD, TPU, Apple Metal และ Intel Arc — แต่ครั้งนี้ไม่โอเพนซอร์ส
เครื่องมือนักพัฒนา

ZML ปล่อย LLMD ฟรี: เซิร์ฟเวอร์ inference ที่รันได้ทั้ง Nvidia, AMD, TPU, Apple Metal และ Intel Arc — แต่ครั้งนี้ไม่โอเพนซอร์ส

สตาร์ตอัพฝรั่งเศส ZML เปิดตัว LLMD เซิร์ฟเวอร์ inference ที่รันโมเดลได้บนชิปหลากค่าย ทั้ง Nvidia, AMD, Google TPU, Apple Metal และ Intel Arc ปล่อยให้ใช้ฟรีแต่ไม่ใช่โอเพนซอร์ส — ต่างจากเฟรมเวิร์กตัวเดิมของบริษัทที่เปิดโค้ดเมื่อปี 2024

· อ่าน 4 นาที
Ollama 0.31 เร่ง Gemma 4 บน Apple Silicon เร็วขึ้นเกือบ 90% — เปิดใช้เป็นค่าเริ่มต้น ผลลัพธ์ไม่เปลี่ยน ด้วย multi-token prediction บน MLX
เครื่องมือนักพัฒนา

Ollama 0.31 เร่ง Gemma 4 บน Apple Silicon เร็วขึ้นเกือบ 90% — เปิดใช้เป็นค่าเริ่มต้น ผลลัพธ์ไม่เปลี่ยน ด้วย multi-token prediction บน MLX

29 มิ.ย. 2026 Ollama 0.31 ปล่อย multi-token prediction (MTP) สำหรับ Gemma 4 บน Apple Silicon ทำให้เจนโทเคนเร็วขึ้นเกือบ 90% บนเบนช์มาร์ก Aider polyglot (ทดสอบบน M5 Max, nvfp4) โดยเปิดใช้เป็นค่าเริ่มต้นและไม่เปลี่ยนผลลัพธ์ของโมเดล

· อ่าน 4 นาที
DeepSeek ปล่อย DSpark — Speculative Decoding ที่เร่ง DeepSeek-V4 เร็วขึ้น 60–85% ต่อผู้ใช้ พร้อมเปิดโค้ด DeepSpec ใต้ MIT
เครื่องมือนักพัฒนา

DeepSeek ปล่อย DSpark — Speculative Decoding ที่เร่ง DeepSeek-V4 เร็วขึ้น 60–85% ต่อผู้ใช้ พร้อมเปิดโค้ด DeepSpec ใต้ MIT

DeepSeek เปิดตัว DSpark เฟรมเวิร์ก speculative decoding ที่เร่งความเร็วการสร้างโทเคนต่อผู้ใช้บน DeepSeek-V4-Flash ขึ้น 60–85% และ V4-Pro 57–78% เทียบกับ MTP-1 พร้อมเปิดโค้ด DeepSpec สำหรับเทรน/ประเมิน drafter ใต้ไลเซนส์ MIT

· อ่าน 5 นาที
ลงมือทำ: เปิดเซิร์ฟเวอร์ vLLM บน Hugging Face Jobs ด้วยคำสั่งเดียว — เสิร์ฟโมเดลโอเพนเวตแบบ OpenAI-compatible จ่ายตามนาที
เครื่องมือนักพัฒนา

ลงมือทำ: เปิดเซิร์ฟเวอร์ vLLM บน Hugging Face Jobs ด้วยคำสั่งเดียว — เสิร์ฟโมเดลโอเพนเวตแบบ OpenAI-compatible จ่ายตามนาที

26 มิ.ย. 2026 Hugging Face ออกคู่มือใช้ `hf jobs run` ปั่นเซิร์ฟเวอร์ vLLM แบบ OpenAI-compatible สำหรับโมเดลโอเพนเวตตัวไหนก็ได้ในคำสั่งเดียว — เลือก GPU ด้วย --flavor, เปิดพอร์ตผ่าน public proxy ด้วย --expose, จ่ายตามนาที ไม่ต้องตั้งเซิร์ฟเวอร์เอง พร้อม SSH ดีบักและ tensor parallel สำหรับโมเดลใหญ่

· อ่าน 6 นาที
OpenAI เปิด "Jalapeño" — ชิป inference ตัวแรกของตัวเอง ออกแบบกับ Broadcom เน้นรันโมเดลโค้ดดิ้งแบบเรียลไทม์ ต้นทุนต่ำ ลดพึ่ง Nvidia
ธุรกิจและกฎหมาย

OpenAI เปิด "Jalapeño" — ชิป inference ตัวแรกของตัวเอง ออกแบบกับ Broadcom เน้นรันโมเดลโค้ดดิ้งแบบเรียลไทม์ ต้นทุนต่ำ ลดพึ่ง Nvidia

OpenAI เปิดตัวชิปกำหนดเองตัวแรกชื่อ Jalapeño (24 มิ.ย. 2026) ออกแบบร่วมกับ Broadcom เป็นชิปสำหรับ inference โดยเฉพาะ ชูประสิทธิภาพต่อวัตต์ดีกว่าตัวท็อปในตลาด และต้นทุนต่ำเมื่อรันโมเดลโค้ดดิ้งแบบเรียลไทม์ — สัญญาณการลดพึ่ง Nvidia และอาจกดต้นทุน API ลงในระยะยาว

· อ่าน 4 นาที
Groq ระดมทุน $650 ล้าน หลังดีล $20 พันล้านกับ Nvidia — เบนเข็มจากผู้ผลิตชิปสู่ธุรกิจ 'inference neocloud'
ธุรกิจและกฎหมาย

Groq ระดมทุน $650 ล้าน หลังดีล $20 พันล้านกับ Nvidia — เบนเข็มจากผู้ผลิตชิปสู่ธุรกิจ 'inference neocloud'

Groq กำลังระดมทุน $650 ล้านจากนักลงทุนเดิม ตามรายงานของ Axios เพื่อเร่งขยายธุรกิจ inference neocloud ที่ใช้ชิปและระบบที่พัฒนาเอง ความเคลื่อนไหวนี้เกิดหลังดีล 'ไม่ใช่การซื้อกิจการ' มูลค่าราว $20 พันล้านกับ Nvidia เมื่อเดือนธันวาคม ที่ดึงผู้บริหารระดับสูงบางส่วนไปและให้ Nvidia ไลเซนส์เทคโนโลยีฮาร์ดแวร์ของ Groq

· อ่าน 4 นาที
vLLM v0.22.0 — เซิร์ฟเวอร์ inference ตัวหลักรองรับ DeepSeek V4 เต็มตัว, NVFP4 บน Blackwell และ MTP speculative decoding
เครื่องมือนักพัฒนา

vLLM v0.22.0 — เซิร์ฟเวอร์ inference ตัวหลักรองรับ DeepSeek V4 เต็มตัว, NVFP4 บน Blackwell และ MTP speculative decoding

vLLM ปล่อยเวอร์ชัน 0.22.0 ยกเครื่องการรองรับ DeepSeek V4 เป็นแพ็กเกจเฉพาะ เพิ่ม NVFP4 fused MoE บน Blackwell, MTP speculative decoding และ KV cache offloading หลายชั้น รวม 459 commit จาก 230 ผู้ร่วมพัฒนา

· อ่าน 5 นาที
Fireworks AI เจรจาระดมทุนรอบใหม่ที่มูลค่า 1.5 หมื่นล้านดอลลาร์ — เกือบ 4 เท่าจาก 7 เดือนก่อน
ธุรกิจและกฎหมาย

Fireworks AI เจรจาระดมทุนรอบใหม่ที่มูลค่า 1.5 หมื่นล้านดอลลาร์ — เกือบ 4 เท่าจาก 7 เดือนก่อน

Fireworks AI สตาร์ทอัพ AI inference สัญชาติอเมริกัน เจรจาระดมทุนใหม่ที่มูลค่า 1.5 หมื่นล้านดอลลาร์ — เพิ่มขึ้นเกือบ 4 เท่าจากมูลค่า 4 พันล้านในเดือนตุลาคม 2025 สะท้อนวงจรเงินทุนที่ร้อนแรงในตลาด inference

· อ่าน 4 นาที
Qualcomm ปิดดีลขาย AI200 ให้ ByteDance — ก้าวแรกสู่ตลาด data-center inference ที่ Nvidia ครอง
ธุรกิจและกฎหมาย

Qualcomm ปิดดีลขาย AI200 ให้ ByteDance — ก้าวแรกสู่ตลาด data-center inference ที่ Nvidia ครอง

Qualcomm บรรลุข้อตกลงป้อนชิป AI200/AI250 ให้ ByteDance หลายล้านตัวสำหรับงาน data-center inference — ดีลใหญ่ดีลแรกที่พา Qualcomm ออกจากตลาดสมาร์ทโฟนเข้าสู่โครงสร้างพื้นฐาน AI ที่ Nvidia ยึดครอง

· อ่าน 6 นาที
Cerebras เปิดบริการ Kimi K2.6 ระดับ trillion parameter ที่ 981 tokens/sec — เร็วกว่า GPU cloud 6.7x, เร็วกว่า Claude Opus 10x ทำให้ agentic coding กลายเป็น 'real-time'
ผลิตภัณฑ์

Cerebras เปิดบริการ Kimi K2.6 ระดับ trillion parameter ที่ 981 tokens/sec — เร็วกว่า GPU cloud 6.7x, เร็วกว่า Claude Opus 10x ทำให้ agentic coding กลายเป็น 'real-time'

Cerebras ประกาศวันที่ 19 พฤษภาคม 2026 ว่ากำลังให้บริการ enterprise trial ของ Kimi K2.6 — trillion-parameter open-weight model จาก Moonshot AI — บน Wafer-Scale Engine 3 ของตัวเอง โดยทำความเร็ว 981 output tokens/second ตามการวัดของ Artificial Analysis (6 พ.ค. 2026) เร็วกว่า GPU cloud ที่เร็วที่สุด 6.7x, เร็วกว่า median provider 23x และเร็วกว่า Claude Opus 10x ตัวอย่างคำขอ agentic coding ขนาด 10,000 input + 500 output tokens — Cerebras ตอบใน 5.6 วินาที เทียบ 163.7 วินาทีบน Kimi endpoint ทางการ ทำให้ agentic coding loop กลายเป็น real-time แทน wait-and-review

· อ่าน 5 นาที
วันราคา Cerebras IPO — ขยายช่วงราคาเป็น $150–$160 ระดมทุน $4.8 พันล้าน, valuation ~$49 พันล้าน, oversubscribed 20 เท่า; pricing วันนี้ 13 พ.ค. และเริ่มเทรด CBRS วันที่ 14
ธุรกิจและกฎหมาย

วันราคา Cerebras IPO — ขยายช่วงราคาเป็น $150–$160 ระดมทุน $4.8 พันล้าน, valuation ~$49 พันล้าน, oversubscribed 20 เท่า; pricing วันนี้ 13 พ.ค. และเริ่มเทรด CBRS วันที่ 14

**13 พ.ค. 2026** คือวันที่ Cerebras Systems pricing IPO บน Nasdaq ภายใต้ ticker **CBRS** — ตามรายงาน Reuters/Bloomberg/SiliconANGLE บริษัท wafer-scale chip รายนี้ขยายช่วงราคาจาก $115–$125 เป็น **$150–$160** ต่อหุ้น, เพิ่มจำนวนหุ้นจาก 28M เป็น 30M, ราคาราว ๆ $4.8 พันล้าน ทำให้ valuation fully diluted ใกล้ **$49 พันล้าน** (vs. $23 พันล้านที่ Series ก.พ. และ $26.6 พันล้านที่ filing range เดิม) — ขั้นต่ำ 20 เท่า oversubscribed รับแรงผลักจาก commitment $20 พันล้านของ OpenAI และดีล AWS เดือน มี.ค. เป็นการกลับมา list ครั้งที่ 2 หลังพับแผนปี 2025 จากกรณี G42/CFIUS — ถ้าราคาคงไว้ Cerebras จะเป็น IPO ที่ใหญ่ที่สุดของปีจนถึงตอนนี้ตาม Dealogic เริ่มเทรดวันที่ **14 พ.ค.**

· อ่าน 5 นาที
Google Developers Blog: DFlash บน TPU v5p เร่ง LLM inference 3.13x ค่าเฉลี่ย — peak ~6x สำหรับงาน math — UCSD พอร์ต block-diffusion speculative decoding ลง vLLM TPU stack
เครื่องมือนักพัฒนา

Google Developers Blog: DFlash บน TPU v5p เร่ง LLM inference 3.13x ค่าเฉลี่ย — peak ~6x สำหรับงาน math — UCSD พอร์ต block-diffusion speculative decoding ลง vLLM TPU stack

4 พ.ค. — Google Developers Blog ลง deep dive จากทีม UCSD Hao AI Lab ที่พอร์ต DFlash (block-diffusion speculative decoding) จาก GPU/PyTorch มาวิ่งบน Google TPU v5p ผ่าน vLLM TPU + JAX — ผลคือ 3.13x throughput เฉลี่ย ขึ้นถึง ~6x สำหรับ workload คณิต — เป็นอีกหนึ่ง signal ว่า inference economics กำลังเลื่อนจาก GPU-centric ไป hardware-aware spec-decode

· อ่าน 5 นาที
ความเห็น: AI gold rush รอบสอง — เงินจะไหลออกจาก 'model' กลับมาที่ 'inference' และทำไมไทยควรสนใจ
ความเห็น

ความเห็น: AI gold rush รอบสอง — เงินจะไหลออกจาก 'model' กลับมาที่ 'inference' และทำไมไทยควรสนใจ

ดีล Nebius ซื้อ Eigen AI $643M, OpenAI ขึ้น Bedrock, Bedrock Managed Agents, Foundry hosted agents — สามเรื่องนี้ในสัปดาห์เดียวบอกอย่างเดียวกัน: AI value chain กำลัง re-stack รอบ inference ไม่ใช่ model อีกแล้ว — และไทยมี window 12-18 เดือนก่อนตลาดนี้ปิด

· อ่าน 7 นาที
Nebius ทุ่ม $643M ซื้อ Eigen AI — ดวลศึก inference layer ที่กลายเป็นชั้นมูลค่าสูงสุดของ AI infra
ธุรกิจและกฎหมาย

Nebius ทุ่ม $643M ซื้อ Eigen AI — ดวลศึก inference layer ที่กลายเป็นชั้นมูลค่าสูงสุดของ AI infra

Nebius เซ็นสัญญาซื้อกิจการ Eigen AI สตาร์ตอัป inference optimization จากศิษย์เก่า MIT ในดีลมูลค่าราว $643M (เงินสด ~$98M + หุ้น Class A 3.8 ล้านหุ้น) — ผนวก stack เร่งความเร็ว/ลดต้นทุน inference เข้าสู่ Nebius Token Factory เพื่อแข่งกับ AWS, Together, Fireworks, Lambda ในตลาด managed inference สำหรับ frontier model

· อ่าน 5 นาที