Google Developers Blog: DFlash บน TPU v5p เร่ง LLM inference 3.13x ค่าเฉลี่ย — peak ~6x สำหรับงาน math — UCSD พอร์ต block-diffusion speculative decoding ลง vLLM TPU stack

วันที่ 4 พ.ค. 2026 Google Developers Blog ลง deep dive ทางเทคนิค (เขียนร่วมโดยทีม UCSD Hao AI Lab + Google TPU team) เรื่องการพอร์ต DFlash — งาน research ใหม่ด้าน block-diffusion speculative decoding — มาวิ่งบน Google TPU v5p ผ่าน vLLM TPU inference stack

ผลที่ได้คือ throughput เฉลี่ย 3.13x tokens/sec เทียบกับ baseline vanilla autoregressive decoding บน TPU เดิม — peak speedup สูงสุดราว ~6x สำหรับ workload math/reasoning ที่ token acceptance rate สูง — บน Llama-3.1-8B target model

DFlash = block-diffusion proposer + autoregressive verifier

Speculative decoding ปกติใช้ draft model ตัวเล็กเดา token ทีละตัวข้างหน้า → ส่งเป็น batch ให้ target model ใหญ่ verify ในรอบเดียว → กิน compute น้อยลง latency ลด

ปัญหาคือ draft model ทั่วไป (autoregressive) ก็ยัง sequential อยู่ดี — ต้องสร้าง draft tokens ทีละตัวเหมือนกัน

DFlash เปลี่ยน draft proposer เป็น block-diffusion model ที่ denoise หลาย token พร้อมกัน ใน block เดียว — ทำให้:

• Acceptance length สูงขึ้นมาก เพราะ diffusion proposer เห็น context สองทาง (bidirectional) ระหว่าง denoising — แตกต่างจาก autoregressive ที่เห็นแค่ left-to-right
• Drafting phase เร็วขึ้น เพราะ parallelize ได้ — เหมาะกับ TPU ที่แข็ง matrix-parallel มากกว่า sequential

Target model ยังเป็น Llama-3.1-8B autoregressive ปกติ — verify draft block ในรอบเดียวด้วย parallel forward pass

ทำไม TPU v5p คือ sweet spot

ทีม UCSD ระบุชัดในโพสต์ว่า การพอร์ตไม่ใช่แค่แปล code — ต้อง re-engineer หลายชั้น:

• Memory layout ใหม่ เพื่อ map block-diffusion proposer ลง TPU MXU (matrix multiply unit) แทน GPU CUDA cores
• JAX-based scheduler สำหรับ verification pipeline ที่ batch หลาย candidate sequences ขึ้น TPU v5p ทีเดียว
• Sparse attention kernel ที่ใช้ Pallas (Google’s TPU kernel DSL) เพื่อ minimize PCIe-equivalent overhead ระหว่าง host CPU กับ TPU pod

นี่คือเหตุผลที่ peak speedup สูงสุดอยู่ใน workload math/code/reasoning ที่ entropy ต่ำ — diffusion proposer มั่นใจสูงกว่า → acceptance rate สูง → ผลตอบแทนของ parallelize เยอะกว่างาน open-ended chat

ทำไม Google ลงทุนในงานแบบนี้

Inference economics เป็นสมรภูมิที่ Google สู้ NVIDIA/AWS/Azure อยู่ — ทุก 2x speedup บน TPU ที่ Google ครอบครอง stack เต็ม = margin recovery แบบยั่งยืน เพราะไม่ต้องซื้อ GPU จาก NVIDIA

นี่ไม่ใช่ครั้งแรกที่ Google เปิด deep dive technical แบบนี้ออก dev blog — ปีนี้มีโพสต์เรื่อง Pallas kernels, JAX-based MoE training, และ TPU v6 (Trillium) micro-benchmarks หลายตัวก่อนหน้า — pattern ชัดเจนว่า Google ใช้ developers.googleblog.com เป็นช่องทาง influence developer mindshare ไม่ใช่แค่ marketing

มุมมอง AI Curator

เราเขียนโพสต์ “inference economics shift” เมื่อ 3 พ.ค. ที่ผ่านมา — DFlash บน TPU เป็น proof point ตรงประเด็น

สิ่งที่น่าสนใจสำหรับเดเวลอปเปอร์ไทย/SEA สามข้อ:

1) Speculative decoding ไม่ใช่ของ GPU อีกแล้ว — เดิมงานสาย spec-decode ส่วนใหญ่ทำบน NVIDIA TensorRT-LLM (เคยทำ 3.6x speedup เมื่อ 2024) — ตอนนี้ Google ทำใกล้เคียงได้บน TPU stack — เปิดทางให้ vLLM + TPU บน GKE กลายเป็น viable alternative สำหรับ inference workload — Cloud TPU spot pricing ถูกกว่า GPU spot ในบาง region

2) Block-diffusion ใน production ไม่ใช่ของแปลกอีกแล้ว — DFlash ขึ้น production ใน vLLM TPU plugin = signal ว่า diffusion-style language modeling (Mercury Coder, Inception Labs ฯลฯ) ไม่ใช่แค่ research toy — เริ่มมี ROI จริงในรูปของ inference acceleration

3) UCSD x Google = pattern ที่ SEA university ควรมอง — Hao AI Lab เป็น academic group ที่ส่งงานขึ้น Google dev blog — เป็น model ของ academia-industry collaboration ที่ไทยยังไม่ค่อยมี — มหาวิทยาลัยที่อยากให้ research มี impact จริง ควรหา anchor partner cloud provider แบบนี้

ระยะถัดไปจะน่าดู: ถ้า DFlash + TPU v6 (Trillium) ทำได้ถึง 5-6x average speedup บน workload ทั่วไป — Google Cloud จะใช้เป็น weapon ในการ undercut AWS Bedrock/Azure OpenAI ในการ price per 1M token — และ enterprise SEA ที่ยังลังเลระหว่าง vendor จะมีแรงจูงใจมากขึ้นที่จะลอง Vertex AI

แหล่งข่าว

• Supercharging LLM inference on Google TPUs: Achieving 3X speedups with diffusion-style speculative decoding — Google Developers Blog
• Hao AI Lab @ UCSD — text diffusion blog
• Speculative Diffusion Decoding — arXiv 2408.05636