แท็ก

#GKE

2 บทความ

Google ใส่ TPU เข้า vLLM สำหรับงาน embedding — เสิร์ฟ Qwen3-Embedding-8B ได้ 83,996 โทเคน/วินาที ที่บริบท 16K พร้อมยืนยัน cosine similarity ≥0.999 เทียบ GPU
เครื่องมือนักพัฒนา

Google ใส่ TPU เข้า vLLM สำหรับงาน embedding — เสิร์ฟ Qwen3-Embedding-8B ได้ 83,996 โทเคน/วินาที ที่บริบท 16K พร้อมยืนยัน cosine similarity ≥0.999 เทียบ GPU

26 ส.ค. 2026 Google Cloud ประกาศรองรับ TPU ใน vLLM สำหรับ pooling/embedding workload โดยตรง — รัน Qwen3-Embedding-8B ได้ 83,996 โทเคน/วินาที และ 5.13 req/s ที่บริบท 16K บน bfloat16 tensor parallel 4 พร้อมรองรับ Qwen3-VL-Embedding-8B แบบ multimodal ที่ 15K+ โทเคน และรายงาน cosine similarity ≥0.999 (ข้อความ) / ≥0.995 (มัลติโหมด) เทียบกับผลอ้างอิง

· อ่าน 5 นาที
Ray 2.55 ยก TPU ขึ้นเป็น accelerator ชั้นหนึ่ง — เลิกยุคสร้าง container เอง แล้วจอง slice ทั้งก้อนด้วยฟังก์ชันเดียว
เครื่องมือนักพัฒนา

Ray 2.55 ยก TPU ขึ้นเป็น accelerator ชั้นหนึ่ง — เลิกยุคสร้าง container เอง แล้วจอง slice ทั้งก้อนด้วยฟังก์ชันเดียว

Google ประกาศ (20 ก.ค. 2026) ว่า Ray 2.55 รองรับ Google Cloud TPU แบบ first-class แล้ว — มี pre-built image ใน release pipeline อย่างเป็นทางการ รองรับข้าม Ray Data/Train/Serve พร้อมฟังก์ชัน slice_placement_group() ที่จองทั้ง slice แบบ atomic และ GKE Ray Operator ที่ติดป้าย slice ให้อัตโนมัติ ปิดจุดที่เคยทำให้งาน multi-host บน TPU พังบ่อยที่สุด

· อ่าน 4 นาที