แท็ก

#TPU

8 บทความ

Google เปิดซอร์ส TorchTPU: torch.device("tpu") ใช้ได้จริง พร้อม vLLM/SGLang บน TPU และประกาศเลิก PyTorch/XLA (archive 15 พ.ย.) — แต่ matmul fp32 ค่าเริ่มต้นคำนวณแบบ bf16 ไม่ใช่ fp32 เต็มแบบ CUDA
เครื่องมือนักพัฒนา

Google เปิดซอร์ส TorchTPU: torch.device("tpu") ใช้ได้จริง พร้อม vLLM/SGLang บน TPU และประกาศเลิก PyTorch/XLA (archive 15 พ.ย.) — แต่ matmul fp32 ค่าเริ่มต้นคำนวณแบบ bf16 ไม่ใช่ fp32 เต็มแบบ CUDA

Google เปิด repo TorchTPU สู่สาธารณะภายใต้ Apache-2.0 และปล่อย torch_tpu 0.2.0 บน PyPI (19–20 ต.ค. 2026) ทำให้ TPU เป็น device ปกติของ PyTorch ตัวหนึ่ง พร้อมเปิดตัว vLLM-TorchTPU, SGLang-TorchTPU และ TorchTitan บน TPU ส่วน PyTorch/XLA ถูกประกาศเลิกใช้และจะ archive วันที่ 15 พ.ย. ข้อควรระวังคือ runtime libtpu ยังอยู่ภายใต้ข้อตกลงของ Google Cloud และ matmul fp32 ค่าเริ่มต้นใช้ความแม่นยำระดับ bf16

· อ่าน 6 นาที
Google เปิด autofinetune — ให้เอเจนต์จูน Gemma บน TPU ข้ามคืนด้วย program.md ไฟล์เดียว แต่ results.tsv ในรีโปบอกว่า SFT ขยับ 3.7 จุด และกำไร RL กว่าครึ่งมาจากรูปแบบคำตอบ
เครื่องมือนักพัฒนา

Google เปิด autofinetune — ให้เอเจนต์จูน Gemma บน TPU ข้ามคืนด้วย program.md ไฟล์เดียว แต่ results.tsv ในรีโปบอกว่า SFT ขยับ 3.7 จุด และกำไร RL กว่าครึ่งมาจากรูปแบบคำตอบ

Google Developers Blog (11 ก.ย. 2026) เปิด autofinetune ลูปวิจัยอัตโนมัติสไตล์ autoresearch ของ Karpathy สำหรับ post-training: มนุษย์เขียนกติกาใน program.md เอเจนต์แก้ run.py รันบน Tunix + Cloud TPU แล้วเก็บหรือ git reset ตามผล ไฟล์ผลลัพธ์ในรีโปแสดงว่า FunctionGemma 270M ขยับจาก 86.58% เป็น 90.32% ใน 20 รอบ ส่วน GRPO บน Gemma 3 1B ได้ reward เพิ่มราว 11% โดยกว่าครึ่งมาจาก format accuracy

· อ่าน 5 นาที
Google ใส่ TPU เข้า vLLM สำหรับงาน embedding — เสิร์ฟ Qwen3-Embedding-8B ได้ 83,996 โทเคน/วินาที ที่บริบท 16K พร้อมยืนยัน cosine similarity ≥0.999 เทียบ GPU
เครื่องมือนักพัฒนา

Google ใส่ TPU เข้า vLLM สำหรับงาน embedding — เสิร์ฟ Qwen3-Embedding-8B ได้ 83,996 โทเคน/วินาที ที่บริบท 16K พร้อมยืนยัน cosine similarity ≥0.999 เทียบ GPU

26 ส.ค. 2026 Google Cloud ประกาศรองรับ TPU ใน vLLM สำหรับ pooling/embedding workload โดยตรง — รัน Qwen3-Embedding-8B ได้ 83,996 โทเคน/วินาที และ 5.13 req/s ที่บริบท 16K บน bfloat16 tensor parallel 4 พร้อมรองรับ Qwen3-VL-Embedding-8B แบบ multimodal ที่ 15K+ โทเคน และรายงาน cosine similarity ≥0.999 (ข้อความ) / ≥0.995 (มัลติโหมด) เทียบกับผลอ้างอิง

· อ่าน 5 นาที
Ray 2.55 ยก TPU ขึ้นเป็น accelerator ชั้นหนึ่ง — เลิกยุคสร้าง container เอง แล้วจอง slice ทั้งก้อนด้วยฟังก์ชันเดียว
เครื่องมือนักพัฒนา

Ray 2.55 ยก TPU ขึ้นเป็น accelerator ชั้นหนึ่ง — เลิกยุคสร้าง container เอง แล้วจอง slice ทั้งก้อนด้วยฟังก์ชันเดียว

Google ประกาศ (20 ก.ค. 2026) ว่า Ray 2.55 รองรับ Google Cloud TPU แบบ first-class แล้ว — มี pre-built image ใน release pipeline อย่างเป็นทางการ รองรับข้าม Ray Data/Train/Serve พร้อมฟังก์ชัน slice_placement_group() ที่จองทั้ง slice แบบ atomic และ GKE Ray Operator ที่ติดป้าย slice ให้อัตโนมัติ ปิดจุดที่เคยทำให้งาน multi-host บน TPU พังบ่อยที่สุด

· อ่าน 4 นาที
ZML ปล่อย LLMD ฟรี: เซิร์ฟเวอร์ inference ที่รันได้ทั้ง Nvidia, AMD, TPU, Apple Metal และ Intel Arc — แต่ครั้งนี้ไม่โอเพนซอร์ส
เครื่องมือนักพัฒนา

ZML ปล่อย LLMD ฟรี: เซิร์ฟเวอร์ inference ที่รันได้ทั้ง Nvidia, AMD, TPU, Apple Metal และ Intel Arc — แต่ครั้งนี้ไม่โอเพนซอร์ส

สตาร์ตอัพฝรั่งเศส ZML เปิดตัว LLMD เซิร์ฟเวอร์ inference ที่รันโมเดลได้บนชิปหลากค่าย ทั้ง Nvidia, AMD, Google TPU, Apple Metal และ Intel Arc ปล่อยให้ใช้ฟรีแต่ไม่ใช่โอเพนซอร์ส — ต่างจากเฟรมเวิร์กตัวเดิมของบริษัทที่เปิดโค้ดเมื่อปี 2024

· อ่าน 4 นาที
Google โชว์ MaxText เทรนโมเดลต่อได้ทั้งที่ TPU พังกลางคัน กู้คืนใน ~110 วินาที
เครื่องมือนักพัฒนา

Google โชว์ MaxText เทรนโมเดลต่อได้ทั้งที่ TPU พังกลางคัน กู้คืนใน ~110 วินาที

ทีม Google Cloud สาธิต elastic training ใน MaxText — จงใจฆ่า TPU slice กลางการเทรน แล้วระบบจับ exception, กู้ checkpoint และเทรนต่อได้เองใน ~110 วินาที โดยไม่รีสตาร์ททั้งงาน จุดสำคัญคือสถาปัตยกรรม single-controller ของ Pathways

· อ่าน 6 นาที
Anthropic คุย Samsung ทำชิป AI ของตัวเอง — แล็บ frontier รายสุดท้ายขยับเข้าสู่ซิลิคอนของตัวเอง
ธุรกิจและกฎหมาย

Anthropic คุย Samsung ทำชิป AI ของตัวเอง — แล็บ frontier รายสุดท้ายขยับเข้าสู่ซิลิคอนของตัวเอง

รายงานจาก The Information (ผ่าน TechCrunch, 2 ก.ค. 2026) ระบุ Anthropic เริ่มพัฒนาชิป AI ของตัวเองในระยะแรกเริ่ม และอยู่ระหว่างเจรจากับ Samsung ในฐานะโรงงานผลิต — ตามหลัง OpenAI (Jalapeño) และ Google (TPU) โดย Anthropic ย้ำว่าสแตกฮาร์ดแวร์จาก AWS Trainium, Google TPU และ Nvidia ยังเป็นแกนหลัก.

· อ่าน 4 นาที
Google เปิดตัว TPU Developer Hub — ศูนย์รวมสอนรีดประสิทธิภาพ TPU แบบ code-first พร้อมรองรับ AI agent
เครื่องมือนักพัฒนา

Google เปิดตัว TPU Developer Hub — ศูนย์รวมสอนรีดประสิทธิภาพ TPU แบบ code-first พร้อมรองรับ AI agent

Google เปิดตัว TPU Developer Hub ศูนย์รวมเอกสารและ recipe แบบ code-first สำหรับนักพัฒนาที่ต้องการรีดประสิทธิภาพจาก Cloud TPU ครอบคลุมตั้งแต่สถาปัตยกรรมฮาร์ดแวร์ การ debug ด้วย XProf ไปจนถึง Pallas kernel โดยออกแบบให้ทั้งคนและ AI agent อ่านและนำไปใช้ได้ทันที

· อ่าน 4 นาที