เครื่องมือนักพัฒนา
Google Developers Blog: DFlash บน TPU v5p เร่ง LLM inference 3.13x ค่าเฉลี่ย — peak ~6x สำหรับงาน math — UCSD พอร์ต block-diffusion speculative decoding ลง vLLM TPU stack
4 พ.ค. — Google Developers Blog ลง deep dive จากทีม UCSD Hao AI Lab ที่พอร์ต DFlash (block-diffusion speculative decoding) จาก GPU/PyTorch มาวิ่งบน Google TPU v5p ผ่าน vLLM TPU + JAX — ผลคือ 3.13x throughput เฉลี่ย ขึ้นถึง ~6x สำหรับ workload คณิต — เป็นอีกหนึ่ง signal ว่า inference economics กำลังเลื่อนจาก GPU-centric ไป hardware-aware spec-decode
· อ่าน 5 นาที