แท็ก

#vllm

2 บทความ

Google เปิดสถาปัตยกรรม Tunix สำหรับ agentic RL — แก้ปัญหา TPU นั่งว่างรอ tool ด้วย async rollout และ pipeline ไร้ barrier
เครื่องมือนักพัฒนา

Google เปิดสถาปัตยกรรม Tunix สำหรับ agentic RL — แก้ปัญหา TPU นั่งว่างรอ tool ด้วย async rollout และ pipeline ไร้ barrier

Google Developers Blog เผยแพร่บทวิเคราะห์เชิงลึก (21 ก.ค. 2026) อธิบายว่า Tunix ไลบรารี post-training แบบ JAX-native จัดการคอขวดของ agentic RL อย่างไร — เมื่อ agent หยุดรอ tool call หรือ web search แล้ว accelerator นั่งว่าง ทางแก้คือ async rollout ด้วย asyncio, pipeline แบบ producer-consumer ที่ไม่มี barrier และการต่อกับ vLLM-TPU / SGLang-Jax

· อ่าน 6 นาที
Google Developers Blog: DFlash บน TPU v5p เร่ง LLM inference 3.13x ค่าเฉลี่ย — peak ~6x สำหรับงาน math — UCSD พอร์ต block-diffusion speculative decoding ลง vLLM TPU stack
เครื่องมือนักพัฒนา

Google Developers Blog: DFlash บน TPU v5p เร่ง LLM inference 3.13x ค่าเฉลี่ย — peak ~6x สำหรับงาน math — UCSD พอร์ต block-diffusion speculative decoding ลง vLLM TPU stack

4 พ.ค. — Google Developers Blog ลง deep dive จากทีม UCSD Hao AI Lab ที่พอร์ต DFlash (block-diffusion speculative decoding) จาก GPU/PyTorch มาวิ่งบน Google TPU v5p ผ่าน vLLM TPU + JAX — ผลคือ 3.13x throughput เฉลี่ย ขึ้นถึง ~6x สำหรับ workload คณิต — เป็นอีกหนึ่ง signal ว่า inference economics กำลังเลื่อนจาก GPU-centric ไป hardware-aware spec-decode

· อ่าน 5 นาที