แท็ก

#PyTorch

5 บทความ

AWS เปิดซอร์ส TorchNeuron: แค่ .to('neuron') โค้ด PyTorch ก็รันบน Trainium ได้ — public beta (Apache-2.0) แต่ torch.compile รับแค่ shape คงที่, op ที่ยังไม่รองรับแอบไปรันบน CPU และมี wheel ให้แค่ Ubuntu 26.04
เครื่องมือนักพัฒนา

AWS เปิดซอร์ส TorchNeuron: แค่ .to('neuron') โค้ด PyTorch ก็รันบน Trainium ได้ — public beta (Apache-2.0) แต่ torch.compile รับแค่ shape คงที่, op ที่ยังไม่รองรับแอบไปรันบน CPU และมี wheel ให้แค่ Ubuntu 26.04

AWS เปิดตัว TorchNeuron (19 ต.ค. 2026) และปล่อยเป็นโอเพนซอร์ส Apache-2.0 แบบ public beta ในวันที่ 20 ต.ค. เป็น backend ของ PyTorch ที่เพิ่ม device ชื่อ neuron ผ่าน PrivateUse1 ให้โค้ดเดิมรันบน Trainium2/3 ได้ทั้ง eager, torch.compile และ distributed แต่ beta นี้ยังมีข้อจำกัดชัดเจน คือ torch.compile ไม่รองรับ dynamic shape, op ที่ยังไม่รองรับจะ fallback ไปรันบน CPU, float64 ถูกลดเป็น float32 และ wheel สำเร็จรูปมีให้เฉพาะ Ubuntu 26.04

· อ่าน 5 นาที
Google เปิดซอร์ส TorchTPU: torch.device("tpu") ใช้ได้จริง พร้อม vLLM/SGLang บน TPU และประกาศเลิก PyTorch/XLA (archive 15 พ.ย.) — แต่ matmul fp32 ค่าเริ่มต้นคำนวณแบบ bf16 ไม่ใช่ fp32 เต็มแบบ CUDA
เครื่องมือนักพัฒนา

Google เปิดซอร์ส TorchTPU: torch.device("tpu") ใช้ได้จริง พร้อม vLLM/SGLang บน TPU และประกาศเลิก PyTorch/XLA (archive 15 พ.ย.) — แต่ matmul fp32 ค่าเริ่มต้นคำนวณแบบ bf16 ไม่ใช่ fp32 เต็มแบบ CUDA

Google เปิด repo TorchTPU สู่สาธารณะภายใต้ Apache-2.0 และปล่อย torch_tpu 0.2.0 บน PyPI (19–20 ต.ค. 2026) ทำให้ TPU เป็น device ปกติของ PyTorch ตัวหนึ่ง พร้อมเปิดตัว vLLM-TorchTPU, SGLang-TorchTPU และ TorchTitan บน TPU ส่วน PyTorch/XLA ถูกประกาศเลิกใช้และจะ archive วันที่ 15 พ.ย. ข้อควรระวังคือ runtime libtpu ยังอยู่ภายใต้ข้อตกลงของ Google Cloud และ matmul fp32 ค่าเริ่มต้นใช้ความแม่นยำระดับ bf16

· อ่าน 6 นาที
กลั่นโมเดลด้วย GPU ตัวเดียว — สูตร offline top-K logits + fused chunked KL ลด VRAM จาก 85.2GB เหลือ 5.45GB และเร็วขึ้น 5 เท่า
งานวิจัย

กลั่นโมเดลด้วย GPU ตัวเดียว — สูตร offline top-K logits + fused chunked KL ลด VRAM จาก 85.2GB เหลือ 5.45GB และเร็วขึ้น 5 เท่า

10 ส.ค. 2026 ทีม Multiverse Computing เผยแพร่บน Hugging Face ว่าการแคช top-100 logits ของครูไว้ล่วงหน้า บวกกับ KL loss แบบ fused chunked ทำให้การกลั่นความรู้ที่เคยกิน 4 โหนด GPU ย่อลงเหลือ GPU ตัวเดียว และเร็วขึ้นราว 5 เท่าต่อสเต็ป

· อ่าน 7 นาที
Hugging Face Transformers v5.13.0 — ท่อ export รวมศูนย์สู่ ONNX/ExecuTorch รันโมเดลบนมือถือ พร้อมรองรับสถาปัตยกรรมโอเพนใหม่ยกชุด
เครื่องมือนักพัฒนา

Hugging Face Transformers v5.13.0 — ท่อ export รวมศูนย์สู่ ONNX/ExecuTorch รันโมเดลบนมือถือ พร้อมรองรับสถาปัตยกรรมโอเพนใหม่ยกชุด

Transformers v5.13.0 เพิ่ม HfExporters — ท่อ export รวมศูนย์ที่ส่งโมเดลออกไปยัง PyTorch ExportedProgram, ONNX และ ExecuTorch (สำหรับมือถือ/edge) ด้วย API รูปแบบเดียวกัน พร้อมรองรับสถาปัตยกรรมโอเพนใหม่ยกชุด เช่น Kimi K2.7, Xiaomi MiMo-V2-Flash, Zyphra ZAYA และ Google VideoPrism

· อ่าน 5 นาที
Google เปิดตัว TPU Developer Hub — ศูนย์รวมสอนรีดประสิทธิภาพ TPU แบบ code-first พร้อมรองรับ AI agent
เครื่องมือนักพัฒนา

Google เปิดตัว TPU Developer Hub — ศูนย์รวมสอนรีดประสิทธิภาพ TPU แบบ code-first พร้อมรองรับ AI agent

Google เปิดตัว TPU Developer Hub ศูนย์รวมเอกสารและ recipe แบบ code-first สำหรับนักพัฒนาที่ต้องการรีดประสิทธิภาพจาก Cloud TPU ครอบคลุมตั้งแต่สถาปัตยกรรมฮาร์ดแวร์ การ debug ด้วย XProf ไปจนถึง Pallas kernel โดยออกแบบให้ทั้งคนและ AI agent อ่านและนำไปใช้ได้ทันที

· อ่าน 4 นาที