Kakao เปิดสูตรหา learning rate ของ MoE ระดับ 155B โดยไม่ต้องกวาดค่า — เทรนโมเดลตัวแทน 10.8B ราว 500B โทเคน แล้วลากเส้นตรงไปถึงขอบเขต 10 ล้านล้านโทเคนด้วย R²=0.95

ทุกคนที่เคยเทรนโมเดลใหญ่รู้ปัญหานี้ดี: learning rate ที่ดีที่สุดขึ้นกับทั้งขนาดโมเดลและจำนวนโทเคนที่จะเทรน และการหาโดยการกวาดค่า (sweep) ที่สเกลจริงนั้นแพงจนทำไม่ได้ ในโลกของ dense model ยังพอมีทางออกที่รู้จักกันดีคือ μP (Maximal Update Parameterization) ที่ให้ย้ายค่าจากโมเดลเล็กไปโมเดลใหญ่ได้ แต่พอเป็น MoE สมการเปลี่ยนไป เพราะการขยายความจุไม่ได้ทำด้วยการเพิ่มความกว้างอย่างเดียว แต่ทำด้วยการเพิ่มจำนวน expert ด้วย ซึ่งเป็นแกนที่งาน μP เดิมไม่ได้ครอบคลุม

เปเปอร์ “Let’s Scale Step by Step: Compute-Efficient Hyperparameter Transfer for Large-Scale Mixture-of-Experts” จาก Kakao Corp. และ Upstage AI (ตีพิมพ์ที่ COLM 2026, ขึ้น arXiv 20 สิงหาคม 2026 และขึ้นอันดับหนึ่งของ Hugging Face Daily Papers เมื่อ 24 สิงหาคม) เสนอวิธีที่ตรงไปตรงมาผิดคาด — และที่สำคัญคือ เขาเอาไปใช้เทรนโมเดล foundation ของตัวเองจริงที่ 155B total / 17B active บนงบ 10 ล้านล้านโทเคน

ปัญหา: sweep แบบ 2 มิติ ที่ไม่มีใครจ่ายไหว

ถ้าคุณต้องกวาดหา learning rate ที่เหมาะที่สุดโดยตรง คุณกำลังกวาดในพื้นที่สองมิติ — มิติขนาดโมเดล กับมิติงบโทเคน — และทั้งสองมิติแพงในแบบของตัวเอง

ตัวเลขที่เปเปอร์ยกมาให้เห็นภาพชัด: การรัน proxy 5 ตัวที่สเกลเล็กมีต้นทุนรวม 64.8 ZFLOPs ส่วนการเพิ่ม “model scale search” เข้าไปในสมการ (ทดลองเพิ่มที่ความกว้าง 1.5× และ 2× ของ proxy) จะกินคอมพิวต์เพิ่มอีก 240.3 ZFLOPs — คือประมาณ 3.7 เท่าของต้นทุน proxy ทั้งหมดรวมกัน เพื่อจะได้แค่ข้อมูลในมิติเดียว

แนวคิดของเปเปอร์คือ แยกสองมิตินี้ออกจากกัน แล้วจัดการคนละวิธี

ขั้นที่ 1: μP สำหรับ MoE ที่ใช้ MLA และ Muon

ขั้นแรกคือทำให้ learning rate ย้ายข้ามความกว้างโมเดลได้ ซึ่งต้องปรับสูตร μP ให้เข้ากับสถาปัตยกรรมที่ใช้จริงในปัจจุบัน ไม่ใช่ transformer มาตรฐานในเปเปอร์ต้นฉบับ:

• MLA (Multi-head Latent Attention) — ตัวบีบ KV cache ลงพื้นที่แฝงมิติต่ำ ซึ่งมีจุดที่ต้องระวังคือมิติ low-rank projection ของ query และ key-value ถูกตรึงไว้ระหว่างการขยายความกว้าง ทำให้การจัดหมวดพารามิเตอร์ตาม shape invariance ต้องคิดใหม่
• Muon optimizer — ออพติไมเซอร์ที่กำลังเป็นมาตรฐานใหม่ในการเทรน LLM ขนาดใหญ่ ซึ่งเดิมไม่ได้อยู่ในกรอบ μP
• เส้นทางการสเกลที่ขยาย sparsity ไปพร้อมกับความกว้าง — คือเพิ่มจำนวน expert รวมโดยคงจำนวน expert ที่ active ต่อโทเคน ซึ่งเป็นกลยุทธ์ MoE ที่ใช้จริง เพราะเพิ่มความจุโดยไม่เพิ่มต้นทุน inference ต่อโทเคน

ผลคือ learning rate ที่ดีที่สุดย้ายข้ามโมเดลที่ถูกสเกลด้วยความกว้างได้อย่างสม่ำเสมอ — ตัดมิติขนาดโมเดลออกจาก sweep ไปทั้งมิติ

ขั้นที่ 2: กฎสเกลในมิติโทเคน ที่เป็นเส้นตรงใน log-log

ขั้นที่สองคือมิติโทเคน ซึ่งวิธีของเขาเรียบง่ายจนน่าสนใจ:

1. เทรน โมเดล proxy 10.8B total / 3.3B active (เท่ากับ 1/4× ของความกว้างของเป้าหมาย 155B/17B) ไปราว 500B โทเคน
2. ประเมิน learning rate ที่ดีที่สุดทุกช่วง 10B โทเคน โดยใช้น้ำหนัก EMA ที่คำนวณทุก 2B โทเคน
3. ที่แต่ละงบโทเคน ฟิต พาราโบลา ระหว่าง log ของ learning rate กับ validation loss: L(η) = a(log η)² + b(log η) + c แล้วจุดยอดของพาราโบลา log η* = −b/2a คือค่าที่ดีที่สุดของงบนั้น
4. เอาค่า η* ทั้งชุดมา ฟิตเส้นตรงใน log-log: log(η*) = β · log(B) + γ โดยตัดข้อมูลก่อนงบ 255B โทเคนทิ้ง เพื่อให้พลวัตการเทรนนิ่งหลังการเพิ่ม batch size
5. ลากเส้นไปที่ 10T โทเคน

ผลลัพธ์: เส้นตรงที่ฟิตจากช่วง 255B–502B โทเคน ได้ R² = 0.95 และทำนายค่า learning rate ที่ดีที่สุดสำหรับการเทรน 10T โทเคน อยู่ที่ 3.85 × 10⁻⁴

จากนั้นเขาเอาค่านั้นไปเทรน MoE ขนาด 155B/17B active จากศูนย์จริง — โดยการเทรนเต็มสเกลนี้ใช้คอมพิวต์ราว 98 เท่า ของ proxy run ทั้งหมดที่ใช้ทำนายค่า พูดอีกแบบคือ ค่าใช้จ่ายในการหาค่าที่ถูกต้องอยู่ที่ราว 1% ของค่าใช้จ่ายในการเทรนจริง

สิ่งที่เปเปอร์พิสูจน์ได้ และสิ่งที่พิสูจน์ไม่ได้

ตรงนี้ผู้เขียนซื่อสัตย์ในแบบที่เปเปอร์สเกลใหญ่มักไม่เป็น เขาเขียนไว้ตรง ๆ ในบทสรุปว่า การกวาดค่าเต็มสเกลเพื่อยืนยันว่า 3.85 × 10⁻⁴ คือค่าที่ดีที่สุดจริงนั้นทำไม่ได้ในทางคอมพิวต์ สิ่งที่มีคือหลักฐานเชิงประจักษ์ — เส้น loss ที่นิ่งมากตลอด 10T โทเคน และคะแนนเบนช์มาร์กที่แข่งขันได้ ซึ่งสอดคล้องกับการทำนายที่ถูก แต่ไม่ใช่การพิสูจน์ว่าไม่มีค่าอื่นที่ดีกว่า

ข้อจำกัดอื่นที่เขาระบุเอง:

• ผูกกับ MLA + Muon การขยายไปยังสถาปัตยกรรม MoE แบบอื่นและออพติไมเซอร์อื่นยังเป็นงานในอนาคต
• batch size ถูกตรึงไว้ โดยเจตนา เขาให้เหตุผลว่าวรรณกรรมยังขัดแย้งกันเองว่า batch size ที่เหมาะที่สุดขึ้นกับคอมพิวต์รวมหรืองบโทเคนอย่างเดียว จึงเลือกตรึงเพื่อ GPU efficiency แล้วโฟกัสที่ learning rate ตัวเดียว — ซึ่งแปลว่ากฎที่ได้เป็นกฎภายใต้ batch size ที่คุณเลือก ไม่ใช่กฎสากล
• แกน sparsity แยกไม่ออกจากแกนความกว้าง เพราะสูตรใหญ่ของเขาขยายสองแกนไปพร้อมกัน ผลจึงยืนยันได้แค่ว่าเส้นทางร่วมนี้ใช้ได้ ไม่ได้บอกว่าแกน sparsity เพียว ๆ ทำงานอย่างไร
• learning rate ต่อ expert ยังไม่ได้ทำ ทั้งที่เขาชี้เองว่า top-k routing ทำให้จำนวนโทเคนที่วิ่งเข้าแต่ละ expert ไม่เท่ากัน ซึ่งแปลว่า effective batch size และ gradient noise scale ของแต่ละ expert ก็ไม่เท่ากันไปด้วย

มุมมอง AI Curator

ผมคิดว่าคุณค่าของเปเปอร์นี้ไม่ได้อยู่ที่เลข 3.85 × 10⁻⁴ ซึ่งใช้ได้เฉพาะกับสูตรของเขา แต่อยู่ที่ การแสดงให้เห็นว่า “งบสำหรับหาค่าที่ถูกต้อง” เป็นบรรทัดหนึ่งในงบประมาณที่ควบคุมได้ — และมันควรอยู่ที่ราว 1% ไม่ใช่ 30%

นี่คือประเภทของงานที่ห้องแล็บใหญ่ทำอยู่แล้วภายในแต่ไม่ค่อยเขียนออกมา ทีมที่เทรน DeepSeek-V3, Qwen3 หรือ Kimi K2.5 ไม่มีทางกวาดค่าที่สเกลเต็ม พวกเขาต้องมีสูตรทำนายของตัวเอง — แต่สูตรนั้นไม่ใช่สิ่งที่ถูกเผยแพร่พร้อมน้ำหนักโมเดล การเปิดสูตรพร้อมตัวเลขต้นทุนจริงจึงมีค่ามากกว่าการเปิดน้ำหนักอีกตัวหนึ่ง สำหรับคนที่ตั้งใจจะเทรนเอง เพราะน้ำหนักบอกคุณว่าปลายทางหน้าตาอย่างไร แต่ไม่บอกว่าจะไปถึงโดยไม่เผาเงินได้อย่างไร

จุดที่ผมอยากให้สังเกตเป็นพิเศษคือ ทางเลือกที่จะตรึง batch size มันดูเหมือนการลดทอนปัญหา แต่จริง ๆ แล้วเป็นการตัดสินใจเชิงวิศวกรรมที่คมมาก: เมื่อวรรณกรรมยังเถียงกันไม่จบว่า batch size ที่เหมาะที่สุดขึ้นกับอะไร การพยายามหาสองตัวแปรพร้อมกันคือการเอาความไม่แน่นอนสองชั้นมาคูณกัน เขาเลือกตรึงตัวที่ฮาร์ดแวร์บังคับอยู่แล้ว (batch size ที่ทำให้ GPU เต็มประสิทธิภาพ) แล้วหาตัวที่เหลือให้แม่น — นี่คือแพตเทิร์นที่ใช้ได้กับปัญหาการจูนแทบทุกอย่าง ไม่ใช่แค่ pretraining

สำหรับไทยและ SEA ผมคิดว่าเปเปอร์นี้ตรงกับสถานการณ์มากกว่าที่หัวข้อทำให้รู้สึก หลายประเทศในภูมิภาคกำลังพูดเรื่อง sovereign AI และมีโครงการเทรนโมเดลฐานของตัวเอง — Typhoon, SEA-LION, OpenThaiGPT และโครงการระดับชาติอีกหลายอัน — โดยมีข้อจำกัดร่วมกันคือ คอมพิวต์มีจำกัดและจัดสรรมาเป็นก้อน ไม่ใช่เปิดก๊อกได้ตามใจ ในสถานการณ์แบบนั้น คอมพิวต์ทุก ZFLOP ที่หมดไปกับการกวาดหาไฮเปอร์พารามิเตอร์ คือ ZFLOP ที่ไม่ได้ใช้เทรนโมเดลจริง ระเบียบวิธีที่บอกว่า “รัน proxy 1/4× ความกว้าง ไปสัก 500B โทเคน แล้วลากเส้น” เป็นสิ่งที่ทีมขนาดกลางทำตามได้จริงด้วยคลัสเตอร์ที่มีอยู่ ไม่ต้องรอ GPU อีกพันใบ

และการที่งานนี้มาจาก Kakao กับ Upstage — สองทีมเกาหลี ก็เป็นข้อสังเกตในตัวเอง เกาหลีเดินมาก่อนภูมิภาคเราหลายปีในเรื่องการสร้างโมเดลภาษาของตัวเองอย่างจริงจัง และสิ่งที่พวกเขาเลือกเผยแพร่ตอนนี้ไม่ใช่คะแนนเบนช์มาร์ก แต่เป็นระเบียบวิธีที่ทำให้การเทรนครั้งต่อไปถูกลง — ซึ่งบอกอะไรบางอย่างเกี่ยวกับว่าทีมที่ผ่านรอบแรกมาแล้วให้ค่ากับอะไร

แหล่งข่าว

• Let’s Scale Step by Step: Compute-Efficient Hyperparameter Transfer for Large-Scale Mixture-of-Experts — arXiv:2608.20061, ส่ง 20 ส.ค. 2026, ตีพิมพ์ที่ COLM 2026
• Hugging Face Daily Papers — 24 ส.ค. 2026 — อันดับที่เปเปอร์นี้ขึ้นสูงสุดของวัน
• Muon: An optimizer for hidden layers in neural networks — ออพติไมเซอร์ที่เปเปอร์นี้ปรับ μP ให้รองรับ
• kakaocorp บน Hugging Face — โมเดลตระกูล Kanana ที่ Kakao เปิดน้ำหนักไว้ก่อนหน้านี้