แท็ก

#ROCm

10 บทความ

halogen 0.12.0: เอนจินที่เขียนเคอร์เนลให้ GPU ตัวเดียวและโมเดลตระกูลเดียว — prefill พรอมต์ 1 ล้านโทเคนบน Strix Halo เหลือ 17.9 นาที จาก 21.2 นาที
เครื่องมือนักพัฒนา

halogen 0.12.0: เอนจินที่เขียนเคอร์เนลให้ GPU ตัวเดียวและโมเดลตระกูลเดียว — prefill พรอมต์ 1 ล้านโทเคนบน Strix Halo เหลือ 17.9 นาที จาก 21.2 นาที

19 ก.ย. 2026 halogen-flash-server ออก 0.12.0 — เอนจิน inference ที่เขียนเคอร์เนลเฉพาะ AMD Strix Halo (gfx1151) กับ Qwen3.8-Flash-Next เท่านั้น รอบนี้รื้อสองเคอร์เนลของ sparse-attention indexer ทำให้พรอมต์ 1,004,581 โทเคน prefill เหลือ 17.9 นาทีและ decode 38 tok/s โดยเอาต์พุตยังเหมือนเดิมบิตต่อบิต — แต่เอนจินเป็นไบนารีปิดใต้ EULA ไม่ใช่โอเพนซอร์ส

· อ่าน 7 นาที
SGLang 0.5.20: มาสก์การสุ่มสำหรับ RL rollout ที่เล่นซ้ำได้, radix tree รวมร่างดัน cache hit 43.8%→60.8% และโหลดโมเดลบน ROCm จาก 505 วินาทีเหลือ 40 วินาที
เครื่องมือนักพัฒนา

SGLang 0.5.20: มาสก์การสุ่มสำหรับ RL rollout ที่เล่นซ้ำได้, radix tree รวมร่างดัน cache hit 43.8%→60.8% และโหลดโมเดลบน ROCm จาก 505 วินาทีเหลือ 40 วินาที

SGLang v0.5.20 (18 ก.ย. 2026) รวม 713 PR จาก 237 ผู้ร่วมพัฒนา ของเด่นคือ return_sampling_mask ที่ทำให้ trainer เล่น rollout ซ้ำได้โดยไม่ต้องสร้าง top-k/top-p ใหม่, unified radix tree ที่แคชจุดแตกแขนงของ SWA, ตัวจำลองสเกดูเลอร์ที่รันบน CPU ล้วน และการซ่อม path โหลดโมเดลบน ROCm ที่เร็วขึ้นกว่า 12 เท่า

· อ่าน 7 นาที
Unsloth Studio v0.1.811: ไล่ AMD ย้อนถึง RDNA1–RDNA2, มีอิมเมจ ROCm แยก, เพิ่มบัญชีผู้ใช้หลายคนแยกงานกัน และแซนด์บ็อกซ์ระดับ OS สำหรับ tool
เครื่องมือนักพัฒนา

Unsloth Studio v0.1.811: ไล่ AMD ย้อนถึง RDNA1–RDNA2, มีอิมเมจ ROCm แยก, เพิ่มบัญชีผู้ใช้หลายคนแยกงานกัน และแซนด์บ็อกซ์ระดับ OS สำหรับ tool

18 ก.ย. 2026 Unsloth ปล่อย v0.1.811-beta ที่ขยายการรองรับ AMD ย้อนไปถึงการ์ด RDNA1 และ RDNA2 พร้อมอิมเมจ Docker unsloth/unsloth-rocm แยกต่างหาก (RDNA2–RDNA4 และ CDNA) เพิ่มบัญชีผู้ใช้หลายคนที่แยกงานกันบนเครื่องติดตั้งเดียว และแซนด์บ็อกซ์ระดับ OS แบบพรีวิวสำหรับ Python/Terminal tool บน Linux กับ macOS

· อ่าน 6 นาที
SGLang v0.5.19 ออกเช้านี้ — 786 PR, beam search ที่ยังใช้ร่วมกับ spec decoding ไม่ได้, radix tree รวมเป็นดีฟอลต์ และคู่มือรันโมเดลใหญ่บนการ์ดใบเดียว
เครื่องมือนักพัฒนา

SGLang v0.5.19 ออกเช้านี้ — 786 PR, beam search ที่ยังใช้ร่วมกับ spec decoding ไม่ได้, radix tree รวมเป็นดีฟอลต์ และคู่มือรันโมเดลใหญ่บนการ์ดใบเดียว

SGLang ปล่อย v0.5.19 เมื่อ 5 ก.ย. 2026 เวลา 02:27 UTC รวม 786 PR จากผู้ร่วมพัฒนา 214 คน — เพิ่ม beam search, ทำ unified radix tree เป็นดีฟอลต์ของทุกโมเดล, เร่ง decode บน AMD MI355X ได้ถึง 1.52 เท่า และเพิ่มคู่มือรัน MiniMax-H3 บน GPU 24 GB กับ Qwen3.8-27B บน RTX 5090 แต่มี breaking change 14 ข้อที่ต้องอ่านก่อนอัป

· อ่าน 7 นาที
vLLM 0.28 ออกแล้ววันนี้ — 584 คอมมิตจาก 270 คน ยก Kimi-K3 ทั้งสแต็ก เปิด sparse MLA ของ DeepSeek V4 ครบวง แล้วดัน max_num_batched_tokens ขึ้นเท่าตัว
เครื่องมือนักพัฒนา

vLLM 0.28 ออกแล้ววันนี้ — 584 คอมมิตจาก 270 คน ยก Kimi-K3 ทั้งสแต็ก เปิด sparse MLA ของ DeepSeek V4 ครบวง แล้วดัน max_num_batched_tokens ขึ้นเท่าตัว

26 ส.ค. 2026 vLLM ปล่อยเวอร์ชัน 0.28.0 — 584 คอมมิตจากผู้ร่วมพัฒนา 270 คน (หน้าใหม่ 76 คน) เน้นเร่ง Kimi-K3 ทั้งสแต็ก เปิดทาง sparse MLA ของ DeepSeek V4 ให้ใช้ได้ครบทั้ง decode/MTP/spec-decoding เพิ่ม disk offload ให้ KV cache และเปลี่ยนค่าดีฟอลต์ max_num_batched_tokens จาก 8192 เป็น 16384 พร้อม breaking change ที่ย้าย bitsandbytes ออกไปเป็นปลั๊กอินนอกทรี

· อ่าน 7 นาที
มีคนรัน DeepSeek V4 Flash 304B บน MI300X ใบเดียวได้ 168 tok/s แล้วเปิด config ทั้งชุด — แต่ของจริงที่ควรอ่านคือบั๊ก 3 ตัวที่ทำให้โมเดล 'โง่ลงเงียบ ๆ' บน AMD
เครื่องมือนักพัฒนา

มีคนรัน DeepSeek V4 Flash 304B บน MI300X ใบเดียวได้ 168 tok/s แล้วเปิด config ทั้งชุด — แต่ของจริงที่ควรอ่านคือบั๊ก 3 ตัวที่ทำให้โมเดล 'โง่ลงเงียบ ๆ' บน AMD

repo ที่เปิดเมื่อ 4 ส.ค. (Apache 2.0) ปล่อย Docker Compose stack ที่รัน DeepSeek-V4-Flash-0731 ขนาด 304B บน AMD MI300X ใบเดียวได้ 168.6 tok/s ต่อ stream และ prefill 7.9–8.5K tok/s — พร้อมบันทึกบั๊กระดับ kernel สามตัวที่ไม่ทำให้ระบบ crash แต่ทำให้โมเดลเรียกชื่อ tool ผิดและลืม schema

· อ่าน 7 นาที
รัน Kimi K3 (2.8T) บน AMD MI355X ได้ 952 tok/s ต่อโหนด — Wafer ชี้ประสิทธิภาพต่อดอลลาร์ชนะ B300 ทั้งที่ throughput ต่ำกว่า 1.65 เท่า
เครื่องมือนักพัฒนา

รัน Kimi K3 (2.8T) บน AMD MI355X ได้ 952 tok/s ต่อโหนด — Wafer ชี้ประสิทธิภาพต่อดอลลาร์ชนะ B300 ทั้งที่ throughput ต่ำกว่า 1.65 เท่า

31 กรกฎาคม 2026 Ian Ye จาก Wafer เผยผลรัน Kimi K3 ขนาด 2.8T พารามิเตอร์บน AMD MI355X 8 ใบได้ 952 tok/s ต่อโหนด และ 118 tok/s ต่อสตรีม — แพ้ B300 ด้าน throughput รวมราว 1.65 เท่า แต่ชนะด้าน tok/s ต่อดอลลาร์ 48 ต่อ 33 พร้อมเล่าบั๊ก ROCm สองตัวที่ต้องแก้เองและวิธีแก้ที่สั้นกว่าที่คิด

· อ่าน 7 นาที
vLLM v0.26.0 ออกแล้ว — 411 commit จาก 212 คน: เลือก attention backend แยกต่อ KV-cache group ได้ และ KV offloading ขึ้นชั้น object store เต็มตัว
เครื่องมือนักพัฒนา

vLLM v0.26.0 ออกแล้ว — 411 commit จาก 212 คน: เลือก attention backend แยกต่อ KV-cache group ได้ และ KV offloading ขึ้นชั้น object store เต็มตัว

vLLM ปล่อยเวอร์ชัน 0.26.0 (27 ก.ค. 2026) รวม 411 commit จากผู้ร่วมพัฒนา 212 คน — รองรับตระกูล Inkling เต็มสแตก, เร่ง DeepSeek-V4 หลายจุด, เลือก attention backend แยกรายกลุ่ม KV cache ได้เพื่อรองรับโมเดล hybrid และผลัก KV offloading ไปถึงชั้น object store พร้อมเมตริกครบ

· อ่าน 6 นาที
Hugging Face เปิดผลทดสอบ AMD Instinct MI455X ชุดแรก — ผ่าน 99.5% จาก 24 สถาปัตยกรรม Transformers และรับ long-context พร้อมกันได้กว่า 3 เท่าของ MI300
เครื่องมือนักพัฒนา

Hugging Face เปิดผลทดสอบ AMD Instinct MI455X ชุดแรก — ผ่าน 99.5% จาก 24 สถาปัตยกรรม Transformers และรับ long-context พร้อมกันได้กว่า 3 เท่าของ MI300

Hugging Face เผยผลทดสอบ Transformers ชุดแรกบน AMD Instinct MI455X ที่มี HBM4 ขนาด 432GB และแบนด์วิดท์สูงสุด 23.3 TB/s ต่อ GPU หนึ่งใบ — ผ่านราว 99.5% จาก 24 สถาปัตยกรรมหลัก เทียบเท่า MI300 (99.4%) และ NVIDIA A10 (99.1%) พร้อมรับ concurrent request แบบ long-context ได้เกิน 3 เท่าของ MI300 บน Qwen3-32B

· อ่าน 5 นาที
Unsloth รองรับการ์ด AMD แล้ว — เทรน/รันโมเดลบน ROCm เร็วขึ้น 2 เท่า กิน VRAM น้อยลง 70%
เครื่องมือนักพัฒนา

Unsloth รองรับการ์ด AMD แล้ว — เทรน/รันโมเดลบน ROCm เร็วขึ้น 2 เท่า กิน VRAM น้อยลง 70%

Unsloth v0.1.501-beta เพิ่มการรองรับ GPU ของ AMD เต็มรูปแบบเป็นครั้งแรก — เทรนและรัน LLM บนการ์ด Radeon, Instinct (MI300X/MI325X) และ Ryzen ได้ทั้งบน Windows, WSL และ Linux เคลมว่าเร็วขึ้นสูงสุด 2 เท่า ใช้ VRAM น้อยลง 70% โดยไม่เสียความแม่นยำ เปิดทางหลุดจากการผูกขาดของ CUDA

· อ่าน 5 นาที