แท็ก

#compression

2 บทความ

Quantization-Aware Healing: กลั่นความรู้จากโมเดลต้นฉบับ ไม่ใช่จากซากที่บีบแล้ว — สูตรที่ทำให้โมเดล 4-bit ชนะรุ่น bf16 ของตัวเองใน 7 จาก 9 เบนช์มาร์ก
งานวิจัย

Quantization-Aware Healing: กลั่นความรู้จากโมเดลต้นฉบับ ไม่ใช่จากซากที่บีบแล้ว — สูตรที่ทำให้โมเดล 4-bit ชนะรุ่น bf16 ของตัวเองใน 7 จาก 9 เบนช์มาร์ก

25 ส.ค. 2026 Multiverse Computing เผยแพร่สูตร Quantization-Aware Healing บนบล็อก Hugging Face — แทนที่จะเทรนโมเดลที่บีบแล้วให้ไล่ตามเช็กพอยต์ bf16 ของตัวเอง ให้กลั่น KL จากโมเดลต้นฉบับก่อนบีบโดยตรง ผลคือรุ่น MXFP4 ชนะรุ่น bf16 ของสถาปัตยกรรมเดียวกันใน 7 จาก 9 เบนช์มาร์ก และเข้าที่ในราว 100 สเต็ป เทียบกับ 700 สเต็ปของ QAT ปกติ

· อ่าน 7 นาที
OpenAI สรุปบทเรียนจาก Parameter Golf — challenge ฝึก LLM ภายใน 16MB ใน 10 นาทีบน 8×H100, 2,000+ submissions, coding agent กลายเป็น barrier-to-entry breaker
งานวิจัย

OpenAI สรุปบทเรียนจาก Parameter Golf — challenge ฝึก LLM ภายใน 16MB ใน 10 นาทีบน 8×H100, 2,000+ submissions, coding agent กลายเป็น barrier-to-entry breaker

**13 พ.ค. 2026** OpenAI Engineering เผยบทเรียนจาก **Parameter Golf** — challenge ที่ให้คนทั่วโลกฝึก language model ที่ดีที่สุดที่บีบเข้า **16MB artifact** และฝึกได้ใน **10 นาทีบน 8×H100** (Runpod sponsor) วัดด้วย bits-per-byte บน FineWeb validation 8 สัปดาห์รับ **>2,000 submissions จาก >1,000 ผู้เข้าร่วม** — บทเรียน 4 ข้อ: (1) **coding agent** ลด barrier-to-entry อย่างมาก ผู้เข้าร่วมส่วนใหญ่ใช้ agent setup experiment + inspect code; (2) ผลลัพธ์ที่ดีที่สุดมาจาก careful tuning ของ component ที่มีอยู่แล้ว ไม่ใช่ architecture ใหม่; (3) บาง submission push boundary ระหว่าง model improvement กับ evaluation gaming — ต้อง careful review; (4) Parameter Golf กลายเป็น **talent discovery surface** หลักของ OpenAI ในการหา researcher ทักษะสูง

· อ่าน 4 นาที