แท็ก: #Megatron

PuRo-2B: ทีมชิงหัวเทรนโมเดล 2B จากศูนย์บนการ์ดจอเกม RTX 5090 ด้วยค่าคอมพิวต์ $6.9K — แล้วปล่อยทั้งข้อมูล โค้ด น้ำหนัก และเช็คพอยต์ระหว่างทางใต้ Apache-2.0

27 ส.ค. 2026 ทีมจากมหาวิทยาลัยชิงหัวและ Pengcheng Laboratory ปล่อยรายงาน PuRo-2B บน arXiv — เทรนโมเดล 2B จากศูนย์บน 1.4 ล้านล้านโทเคน ด้วยคลัสเตอร์ RTX 5090 ที่คิดเป็นค่าคอมพิวต์ $6.89K แซง Qwen2-1.5B และเข้าใกล้ Qwen2.5-1.5B พร้อมปล่อยข้อมูล โค้ด และเช็คพอยต์ระหว่างทางใต้ Apache-2.0

30 ส.ค. 2569 · อ่าน 9 นาที

เครื่องมือนักพัฒนา

IsoExec ทำให้ trainer กับ vLLM คำนวณ logprob ตรงกันระดับบิต — ค่าเบี่ยงเบนสูงสุดต่อสเต็ปร่วงจาก 5.073 เหลือ ~0.044 แลกกับช้าลง 25.3%

21 ส.ค. 2026 ทีม SkyRL เผยแพร่ IsoExec บนบล็อก vLLM — สัญญา execution contract บวกเคอร์เนลแบบ batch-invariant ที่บังคับให้ trainer (Megatron) กับ rollout engine (vLLM) ได้ logprob ตรงกันระดับบิต ทดสอบบน Qwen3.5-35B-A3B บน 8xH100 ค่าเบี่ยงเบนสูงสุดต่อสเต็ปลดจาก 5.073 เหลือราว 0.044 ต้นทุนคือ end-to-end ช้าลง 25.3% โค้ดเปิด Apache-2.0

22 ส.ค. 2569 · อ่าน 6 นาที