แท็ก

#Inference

4 บทความ

Cloudflare เปิดเผย GLM-5.3 บน Workers AI ส่งข้อมูลของผู้ใช้คนอื่นปนมาใน 155 response — prompt ยาวเกิน KV pool ของ prefill ทำให้ SGLang แบบ disaggregated อ่าน KV page ค้างเก่า แนะนำผู้รัน SGLang อัปเกรดเป็น v0.5.22
เครื่องมือนักพัฒนา

Cloudflare เปิดเผย GLM-5.3 บน Workers AI ส่งข้อมูลของผู้ใช้คนอื่นปนมาใน 155 response — prompt ยาวเกิน KV pool ของ prefill ทำให้ SGLang แบบ disaggregated อ่าน KV page ค้างเก่า แนะนำผู้รัน SGLang อัปเกรดเป็น v0.5.22

Cloudflare และทีม SGLang เปิดเผยพร้อมกันเมื่อ 26 ต.ค. 2026 ว่าระหว่าง 27 ส.ค.–9 ก.ย. โมเดล GLM-5.3 บน Workers AI ตอบ prompt ที่ยาวเกิน 681,280 token โดยมีข้อมูลจาก request ของลูกค้าคนอื่นปนมา รวม 155 response สาเหตุคือ context window ที่ตั้งไว้ 1M ใหญ่กว่า KV pool ของ prefill และบั๊กใน SGLang โหมด prefill/decode แยกเครื่อง ที่ปล่อย request ซึ่งถูก reject แล้วให้ผ่านไปถึง decode ได้ แก้แล้วใน SGLang v0.5.20–v0.5.22

· อ่าน 5 นาที
gpu-unlock: kernel module โอเพนซอร์สที่ปลดล็อกอัตรา FP16/BF16 (สะสมผลแบบ FP32) ของการ์ด RTX 30 ให้เท่ารุ่นมืออาชีพ ผู้ใช้รายงาน BF16 GEMM เร็วขึ้น 25–80% และ prefill ของ LLM เร็วขึ้น 14–36% แต่ decode แทบไม่เปลี่ยน
เครื่องมือนักพัฒนา

gpu-unlock: kernel module โอเพนซอร์สที่ปลดล็อกอัตรา FP16/BF16 (สะสมผลแบบ FP32) ของการ์ด RTX 30 ให้เท่ารุ่นมืออาชีพ ผู้ใช้รายงาน BF16 GEMM เร็วขึ้น 25–80% และ prefill ของ LLM เร็วขึ้น 14–36% แต่ decode แทบไม่เปลี่ยน

gpu-unlock 1.0.0 เป็น Linux kernel module (GPL-2.0) ที่สั่งปลดล็อกการ์ด GA102/103/104/106 ก่อนไดรเวอร์ NVIDIA จะ bind ทำให้ FP16/BF16 แบบสะสมผล FP32 ทำงานเต็มอัตราเหมือนการ์ดมืออาชีพ ผลจากผู้ใช้: RTX 3090 Ti BF16 จาก 87.5 เป็น 157.4 TFLOPS และ vLLM prefill บน 3090 เร็วขึ้น 33% แต่ต้องปิด Secure Boot และยังไม่มีการรับรองจาก NVIDIA

· อ่าน 5 นาที
SGLang 0.5.20: มาสก์การสุ่มสำหรับ RL rollout ที่เล่นซ้ำได้, radix tree รวมร่างดัน cache hit 43.8%→60.8% และโหลดโมเดลบน ROCm จาก 505 วินาทีเหลือ 40 วินาที
เครื่องมือนักพัฒนา

SGLang 0.5.20: มาสก์การสุ่มสำหรับ RL rollout ที่เล่นซ้ำได้, radix tree รวมร่างดัน cache hit 43.8%→60.8% และโหลดโมเดลบน ROCm จาก 505 วินาทีเหลือ 40 วินาที

SGLang v0.5.20 (18 ก.ย. 2026) รวม 713 PR จาก 237 ผู้ร่วมพัฒนา ของเด่นคือ return_sampling_mask ที่ทำให้ trainer เล่น rollout ซ้ำได้โดยไม่ต้องสร้าง top-k/top-p ใหม่, unified radix tree ที่แคชจุดแตกแขนงของ SWA, ตัวจำลองสเกดูเลอร์ที่รันบน CPU ล้วน และการซ่อม path โหลดโมเดลบน ROCm ที่เร็วขึ้นกว่า 12 เท่า

· อ่าน 7 นาที
Z.ai เปิดบันทึก: GLM-5.3 สร้างระบบ inference ของตัวเองบนชิปจีน 100,000 ตัว เร็วขึ้น 3 เท่าใน 2 สัปดาห์
งานวิจัย

Z.ai เปิดบันทึก: GLM-5.3 สร้างระบบ inference ของตัวเองบนชิปจีน 100,000 ตัว เร็วขึ้น 3 เท่าใน 2 สัปดาห์

Z.ai เผยว่างาน infra ที่ปกติต้องใช้ทีมวิศวกรหลายสัปดาห์ ถูกทำโดย Infra Agent ที่ขับด้วย GLM-5.3 เอง — สร้าง production inference stack บนคลัสเตอร์ชิปจีนกว่า 100,000 ตัว ดัน throughput ขึ้น 3 เท่าในไม่ถึงสองสัปดาห์ พร้อมอธิบายสูตร 'dense feedback' ที่ทำให้ agent ดีบักระบบได้จริง

· อ่าน 7 นาที