แท็ก

#MXFP8

1 บทความ

Ai2 เปิด Olmo-core 3 — สแตกฝึกโมเดล MoE แบบเปิด (Apache-2.0) ทดสอบได้ถึง 1.2 ล้านล้านพารามิเตอร์ เพิ่ม expert จาก 8 เป็น 128 แต่ throughput ลดไม่ถึง 5% และเป็นฐานของ Olmo รุ่นถัดไปที่จะเป็น MoE
เครื่องมือนักพัฒนา

Ai2 เปิด Olmo-core 3 — สแตกฝึกโมเดล MoE แบบเปิด (Apache-2.0) ทดสอบได้ถึง 1.2 ล้านล้านพารามิเตอร์ เพิ่ม expert จาก 8 เป็น 128 แต่ throughput ลดไม่ถึง 5% และเป็นฐานของ Olmo รุ่นถัดไปที่จะเป็น MoE

1 ต.ค. 2026 Ai2 ปล่อย Olmo-core 3 (v3.0.0, Apache-2.0) เฟรมเวิร์กฝึก LLM ที่ออกแบบระบบฝึก MoE ใหม่ทั้งหมด เปลี่ยนจาก FSDP เป็น DDP ที่ให้ expert อยู่บน GPU ตลอด ได้ throughput 2.7 เท่าของของเดิมบน B300 8 ตัว ทดสอบได้ถึง 1.2T พารามิเตอร์บน 512 GPU พร้อม tech report ที่บอกทั้งสิ่งที่ได้ผลและสิ่งที่ไม่ได้ผล

· อ่าน 5 นาที