งานวิจัย
Quantization-Aware Healing: กลั่นความรู้จากโมเดลต้นฉบับ ไม่ใช่จากซากที่บีบแล้ว — สูตรที่ทำให้โมเดล 4-bit ชนะรุ่น bf16 ของตัวเองใน 7 จาก 9 เบนช์มาร์ก
25 ส.ค. 2026 Multiverse Computing เผยแพร่สูตร Quantization-Aware Healing บนบล็อก Hugging Face — แทนที่จะเทรนโมเดลที่บีบแล้วให้ไล่ตามเช็กพอยต์ bf16 ของตัวเอง ให้กลั่น KL จากโมเดลต้นฉบับก่อนบีบโดยตรง ผลคือรุ่น MXFP4 ชนะรุ่น bf16 ของสถาปัตยกรรมเดียวกันใน 7 จาก 9 เบนช์มาร์ก และเข้าที่ในราว 100 สเต็ป เทียบกับ 700 สเต็ปของ QAT ปกติ
· อ่าน 7 นาที
