งานวิจัย
Q Labs เปิด Dust: ฝึก transformer ภาษาโดยไม่ใช้ backprop แล้วได้ loss ต่ำกว่า backprop ในงบ 1M token — แต่ต้องสุ่มรบกวน activation นับพันครั้งต่ออัปเดต และโมเดลใหญ่สุดที่ทดสอบมีแค่ 243M พารามิเตอร์
Q Labs เผยแพร่งานวิจัย Dust พร้อมโค้ด MIT วิธีฝึกแบบ zeroth-order ที่สุ่มรบกวน activation แยกทีละ token ทำให้ forward pass เดียวประเมินได้หลายตัวอย่างพร้อมกัน ผลบน GPT ขนาดเล็กที่ฝึกกับ FineWeb ได้ test loss ต่ำกว่า backprop ที่งบ 100k และ 1M token และเหนือกว่า EGGROLL แบบทิ้งห่าง แต่ทีมยอมรับเองว่ายังต้องเพิ่มประสิทธิภาพด้านการคำนวณอีกหลายระดับก่อนจะใช้แทน backprop ได้จริง
· อ่าน 4 นาที
