แท็ก
4 บทความ
1 ต.ค. 2026 Unsloth ปล่อย v0.1.902-beta ที่เทรน LoRA บนเช็กพอยต์ 4-bit แบบ NVFP4, INT4 และ MXFP4 ได้โดยเก็บน้ำหนักไว้ในรูป packed ตลอดการเทรน Qwen3.8-27B-NVFP4 ใช้หน่วยความจำพีก 40.2 GB แทน 72.9 GB และ INT4 ไม่ถูกแปลงซ้ำเป็น NF4 อีกต่อไป พร้อมคำสั่ง unsloth eval และ command palette
25 ส.ค. 2026 Multiverse Computing เผยแพร่สูตร Quantization-Aware Healing บนบล็อก Hugging Face — แทนที่จะเทรนโมเดลที่บีบแล้วให้ไล่ตามเช็กพอยต์ bf16 ของตัวเอง ให้กลั่น KL จากโมเดลต้นฉบับก่อนบีบโดยตรง ผลคือรุ่น MXFP4 ชนะรุ่น bf16 ของสถาปัตยกรรมเดียวกันใน 7 จาก 9 เบนช์มาร์ก และเข้าที่ในราว 100 สเต็ป เทียบกับ 700 สเต็ปของ QAT ปกติ
PR #26185 ถูกเมิร์จเข้า llama.cpp main เมื่อ 15 ส.ค. 2026 และออกเป็นบิลด์ b10448 ทำให้ Kimi K3 ขนาด 2.8 ล้านล้านพารามิเตอร์รันบนเครื่องตัวเองได้โดยไม่ต้องใช้ fork — แต่ตัวเลขจริงคือแรม 466 GB ขั้นต่ำ และความเร็วราว 3 โทเค็น/วินาที
repo ที่เปิดเมื่อ 4 ส.ค. (Apache 2.0) ปล่อย Docker Compose stack ที่รัน DeepSeek-V4-Flash-0731 ขนาด 304B บน AMD MI300X ใบเดียวได้ 168.6 tok/s ต่อ stream และ prefill 7.9–8.5K tok/s — พร้อมบันทึกบั๊กระดับ kernel สามตัวที่ไม่ทำให้ระบบ crash แต่ทำให้โมเดลเรียกชื่อ tool ผิดและลืม schema