แท็ก

#INT4

2 บทความ

Unsloth v0.1.902-beta: เทรน LoRA บนเช็กพอยต์ 4-bit (NVFP4/INT4/MXFP4) โดยไม่คลายเป็น 16-bit — Qwen3.8-27B-NVFP4 พีกลดจาก 72.9 GB เหลือ 40.2 GB
เครื่องมือนักพัฒนา

Unsloth v0.1.902-beta: เทรน LoRA บนเช็กพอยต์ 4-bit (NVFP4/INT4/MXFP4) โดยไม่คลายเป็น 16-bit — Qwen3.8-27B-NVFP4 พีกลดจาก 72.9 GB เหลือ 40.2 GB

1 ต.ค. 2026 Unsloth ปล่อย v0.1.902-beta ที่เทรน LoRA บนเช็กพอยต์ 4-bit แบบ NVFP4, INT4 และ MXFP4 ได้โดยเก็บน้ำหนักไว้ในรูป packed ตลอดการเทรน Qwen3.8-27B-NVFP4 ใช้หน่วยความจำพีก 40.2 GB แทน 72.9 GB และ INT4 ไม่ถูกแปลงซ้ำเป็น NF4 อีกต่อไป พร้อมคำสั่ง unsloth eval และ command palette

· อ่าน 5 นาที
Meta เปิดน้ำหนัก MobileMoE — MoE สำหรับมือถือที่ใช้ 272M พารามิเตอร์ต่อโทเคน แต่ทำ MMLU 43.7 ทิ้ง Gemma 3 270M ที่ได้ 26.7
โมเดลใหม่

Meta เปิดน้ำหนัก MobileMoE — MoE สำหรับมือถือที่ใช้ 272M พารามิเตอร์ต่อโทเคน แต่ทำ MMLU 43.7 ทิ้ง Gemma 3 270M ที่ได้ 26.7

คืนวันที่ 25 ส.ค. 2026 Meta เปิดน้ำหนัก MobileMoE สามขนาดบน Hugging Face — MoE แบบ fine-grained ที่มี expert 60 ตัว เลือกใช้ 4 ตัวต่อโทเคน ทำให้รุ่นเล็ก 1.3B ใช้จริงแค่ 272M ต่อโทเคน กินพื้นที่ 0.68GB ที่ INT4 และทำ MMLU 43.7 เทียบกับ 26.7 ของ Gemma 3 270M แต่ติดใบอนุญาต FAIR แบบ non-commercial และเป็นเช็กพอยต์ base ล้วน

· อ่าน 7 นาที