Ai2 เปิด Olmo-core 3 — สแตกฝึกโมเดล MoE แบบเปิด (Apache-2.0) ทดสอบได้ถึง 1.2 ล้านล้านพารามิเตอร์ เพิ่ม expert จาก 8 เป็น 128 แต่ throughput ลดไม่ถึง 5% และเป็นฐานของ Olmo รุ่นถัดไปที่จะเป็น MoE

1 ต.ค. 2026 Allen Institute for AI (Ai2) ปล่อย Olmo-core 3 ซึ่งเป็นเวอร์ชันใหญ่ของเฟรมเวิร์กที่ใช้ฝึกโมเดลตระกูล Olmo โดยออกแบบระบบฝึก mixture-of-experts (MoE) ใหม่ทั้งหมด โค้ดอยู่บน GitHub allenai/OLMo-core (tag v3.0.0) ภายใต้ Apache-2.0 พร้อม tech report และ interactive demo ที่อธิบายการทำงานร่วมกันของ data, expert และ pipeline parallelism

ข่าวนี้สำคัญเพราะ Ai2 ระบุว่า Olmo รุ่นถัดไปจะเป็นสถาปัตยกรรม MoE และตั้งเป้าให้เป็น Olmo ที่เก่งที่สุดเท่าที่เคยมี ฝึกบนชุดข้อมูลที่ใหญ่ที่สุดและ context ยาวที่สุดของ Ai2 ดังนั้นนี่คือการเปิด infra ก่อนเปิดตัวโมเดล ซึ่งแทบไม่มีแล็บไหนทำ ปกติจะได้เห็นโค้ดฝึกตามหลังน้ำหนักโมเดล หรือไม่ได้เห็นเลย

เปลี่ยนอะไรไปบ้าง

Olmo 3 เป็นโมเดลแบบ dense และระบบ MoE เดิมของ Olmo-core ใช้ FSDP ที่ต้องรวบรวม (gather) แล้วแบ่ง (reshard) น้ำหนักใหม่ทุก micro-batch Olmo-core 3 เปลี่ยนไปใช้ระบบที่อิง DDP แทน คือให้ expert อยู่บน GPU ตลอดเวลา แล้วส่งข้อมูลไปหา expert ตัวเลขที่ Ai2 รายงาน:

• เพิ่ม expert จาก 8 เป็น 128 โดยยังเลือก 4 expert ต่อ token เท่าเดิม พารามิเตอร์ที่ทำงานต่อ token คงอยู่ราว 3.2B แต่พารามิเตอร์รวมเพิ่มจาก 4.6B เป็น 47B และ throughput ลดลงไม่ถึง 5%
• โมเดล MoE ขนาด 47B บน NVIDIA B300 8 ตัว ทำได้ 52,000 tokens/วินาที/GPU เทียบกับ 19,400 ของระบบเดิม หรือราว 2.7 เท่า (Ai2 ระบุว่าเป็นการทดสอบเบื้องต้น)
• MXFP8 ช่วยให้ throughput สูงกว่า BF16 ราว 21% และลด peak memory จาก 103 GiB เหลือ 95 GiB (ทดสอบบน B300 4 ตัว) ประโยชน์ส่วนใหญ่มาจาก feed-forward และการส่งข้อมูลระหว่าง expert ไม่ได้มาจาก attention
• ทดสอบโมเดล 1.2 ล้านล้านพารามิเตอร์ (active 58.36B) บน 512 GPU ได้สูงสุด 858 TFLOP/s/GPU และเมื่อลองใช้ DeepEP v2 ไปได้ถึงคอนฟิก 2.38T แบบทดสอบสั้น ๆ

ข้อควรระวังที่ Ai2 เขียนไว้เอง: การทดสอบขนาดล้านล้านพารามิเตอร์ใช้ random routing เพื่อวัดประสิทธิภาพของระบบ ไม่ใช่การฝึกโมเดลจริงจนเสร็จ ส่วนตัวเลข 2.38T เป็นแค่การพิสูจน์ว่า “ขยายได้ถึงขนาดนี้” ยังไม่ได้แสดงว่าฝึกได้ต่อเนื่อง

เทคนิคข้างใน

ด้านการกระจายโมเดล ใช้ expert parallelism (กระจาย expert ไปหลาย GPU), pipeline parallelism (แบ่ง layer เป็นกลุ่ม) และ distributed optimizer (กระจาย optimizer state แทนที่จะเก็บสำเนาเต็มไว้ทุก GPU) ด้าน routing ใช้ rowwise expert parallelism ที่วางข้อมูลลง buffer ของ expert โดยตรง, GPU-resident routing ที่เก็บ metadata ของ routing ไว้บน GPU เพื่อให้ CPU ส่งงานต่อได้โดยไม่ต้องรอการคัดลอกข้อมูลกลับ และ grouped GEMM ที่รวมการคำนวณเล็ก ๆ ของแต่ละ expert เข้าด้วยกัน

release notes ของ v3.0.0 ยังมีของที่นักพัฒนาควรรู้ ได้แก่ export โมเดล hybrid MoE ไปเป็นรูปแบบ Hugging Face พร้อมตรวจว่าแปลง tensor ได้ตรงทุกตัว, การรองรับ KDA kernel (ต้องใช้ CUDA 13 บน Blackwell) และการแก้บั๊กที่ทำให้ token หายไปอย่างเงียบ ๆ เมื่อเอกสารไม่มี EOS ปิดท้าย ซึ่งในชุด SFT ชุดหนึ่งพบว่ามีเพียง 97.98% ของ token ที่เข้าไปถึงการฝึก ส่วน breaking change คือขั้นต่ำเป็น PyTorch 2.10 และ API model_ladder ถูกลบออก

สิ่งที่ tech report บอกว่าไม่ได้ผล

ส่วนที่น่าอ่านที่สุดคือผลการทดลองที่ล้มเหลว ซึ่งปกติแล็บจะไม่เปิดเผย:

• “Token gerrymandering”: คะแนน load balance ของ router ดีขึ้น แต่ภาระงานจริงกลับไม่สมดุลมากขึ้น
• การลด learning rate ของ expert เพราะแต่ละตัวเห็น token น้อยกว่า ไม่ได้ทำให้ผลดีขึ้น ในตระกูลโมเดลที่ทดสอบ
• การคำนวณบน GPU ที่ matrix ขนาดเท่ากันใช้เวลาไม่เท่ากันเมื่อค่าข้อมูลต่างกัน การ benchmark จึงต้องใช้ค่าอินพุตเดียวกัน ไม่ใช่แค่ shape เดียวกัน
• การทำ communication กับ computation ซ้อนกันบน stream แยก บางครั้งทำให้ช้าลง

มุมมอง AI Curator

Ai2 กำลังผลักแนวคิดว่า “open” ต้องหมายถึงทั้ง pipeline ไม่ใช่แค่น้ำหนักโมเดล และ Olmo-core 3 ทำให้แนวคิดนี้มีน้ำหนักขึ้นมาก ทุกวันนี้ถ้าจะฝึก MoE ขนาดใหญ่แบบโอเพนซอร์ส ตัวเลือกหลักคือ Megatron-Core ของ NVIDIA ซึ่งทรงพลังแต่ผูกกับระบบของ NVIDIA และอ่านยาก การมีสแตกที่สองที่เป็น Apache-2.0 พร้อม tech report ที่บอกตรง ๆ ว่าอะไรไม่ได้ผล มีประโยชน์ต่อวงการมากกว่าโมเดลเปิดอีกตัว เพราะช่วยให้ทีมอื่นไม่ต้องเสีย GPU ไปลองผิดซ้ำในจุดเดียวกัน

สำหรับไทยและ SEA ต้องยอมรับว่าแทบไม่มีใครในภูมิภาคนี้ฝึก MoE ระดับล้านล้านพารามิเตอร์ แต่ผมคิดว่าตัวอย่าง 8→128 expert ที่ active ราว 3B มีประโยชน์จริง ทีมอย่าง SCB10X (Typhoon), AI Singapore (SEA-LION) หรือ VISTEC ที่มีงบ GPU จำกัด สามารถทดลองโมเดล MoE ขนาดกลางที่ความจุรวมสูงแต่ต้นทุนต่อ token ต่ำ ด้วยเครื่องมือที่เปิดทั้งหมดและแก้ไขได้เอง ข้อจำกัดคือตัวเลขทั้งหมดวัดบน B300 ซึ่งเป็นฮาร์ดแวร์ที่คนทั่วไปเข้าถึงยาก ใครที่มีแค่ H100 หรือ GPU บนคลาวด์รุ่นเก่า ควรคาดว่าผลจะไม่ได้ดีเท่าในบล็อก โดยเฉพาะ MXFP8 ที่ต้องใช้ Blackwell

แหล่งข่าว

• Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs — Ai2 / Hugging Face Blog (1 ต.ค. 2026)
• Olmo-core 3 technical report (PDF) — Ai2
• allenai/OLMo-core v3.0.0 — GitHub release