เครื่องมือนักพัฒนา
Google ใส่ TPU เข้า vLLM สำหรับงาน embedding — เสิร์ฟ Qwen3-Embedding-8B ได้ 83,996 โทเคน/วินาที ที่บริบท 16K พร้อมยืนยัน cosine similarity ≥0.999 เทียบ GPU
26 ส.ค. 2026 Google Cloud ประกาศรองรับ TPU ใน vLLM สำหรับ pooling/embedding workload โดยตรง — รัน Qwen3-Embedding-8B ได้ 83,996 โทเคน/วินาที และ 5.13 req/s ที่บริบท 16K บน bfloat16 tensor parallel 4 พร้อมรองรับ Qwen3-VL-Embedding-8B แบบ multimodal ที่ 15K+ โทเคน และรายงาน cosine similarity ≥0.999 (ข้อความ) / ≥0.995 (มัลติโหมด) เทียบกับผลอ้างอิง
· อ่าน 5 นาที