งานวิจัย
Kakao เปิดสูตรหา learning rate ของ MoE ระดับ 155B โดยไม่ต้องกวาดค่า — เทรนโมเดลตัวแทน 10.8B ราว 500B โทเคน แล้วลากเส้นตรงไปถึงขอบเขต 10 ล้านล้านโทเคนด้วย R²=0.95
เปเปอร์ COLM 2026 จาก Kakao Corp. และ Upstage AI (arXiv 20 ส.ค. 2026 ขึ้นอันดับหนึ่ง Hugging Face Daily Papers เมื่อ 24 ส.ค.) เสนอกรอบสองขั้นสำหรับหา learning rate ที่เหมาะที่สุดของ MoE ขนาดใหญ่ — ใช้ μP ที่ปรับให้เข้ากับ MLA และ Muon ย้ายค่าข้ามความกว้างโมเดล แล้วใช้กฎสเกลในมิติโทเคนลากไปถึง 10T โทเคน ได้ค่า 3.85e-4 ที่ R²=0.95 และเอาไปเทรนโมเดล 155B/17B active จริง
· อ่าน 7 นาที