แท็ก

#Backpropagation

2 บทความ

Q Labs เปิด Dust: ฝึก transformer ภาษาโดยไม่ใช้ backprop แล้วได้ loss ต่ำกว่า backprop ในงบ 1M token — แต่ต้องสุ่มรบกวน activation นับพันครั้งต่ออัปเดต และโมเดลใหญ่สุดที่ทดสอบมีแค่ 243M พารามิเตอร์
งานวิจัย

Q Labs เปิด Dust: ฝึก transformer ภาษาโดยไม่ใช้ backprop แล้วได้ loss ต่ำกว่า backprop ในงบ 1M token — แต่ต้องสุ่มรบกวน activation นับพันครั้งต่ออัปเดต และโมเดลใหญ่สุดที่ทดสอบมีแค่ 243M พารามิเตอร์

Q Labs เผยแพร่งานวิจัย Dust พร้อมโค้ด MIT วิธีฝึกแบบ zeroth-order ที่สุ่มรบกวน activation แยกทีละ token ทำให้ forward pass เดียวประเมินได้หลายตัวอย่างพร้อมกัน ผลบน GPT ขนาดเล็กที่ฝึกกับ FineWeb ได้ test loss ต่ำกว่า backprop ที่งบ 100k และ 1M token และเหนือกว่า EGGROLL แบบทิ้งห่าง แต่ทีมยอมรับเองว่ายังต้องเพิ่มประสิทธิภาพด้านการคำนวณอีกหลายระดับก่อนจะใช้แทน backprop ได้จริง

· อ่าน 4 นาที
Sakana AI เปิด PC-ALM ฝึกโครงข่าย 1,000 ชั้นโดยไม่ใช้ backpropagation — บน MNIST ห่าง backprop ราว 2 จุด แต่บน CIFAR-10 ด้วย ResNet-18 ยังตามหลัง 16 จุด
งานวิจัย

Sakana AI เปิด PC-ALM ฝึกโครงข่าย 1,000 ชั้นโดยไม่ใช้ backpropagation — บน MNIST ห่าง backprop ราว 2 จุด แต่บน CIFAR-10 ด้วย ResNet-18 ยังตามหลัง 16 จุด

Sakana AI เผยแพร่บล็อกและโค้ด (JAX, MIT) ของ PC-ALM วิธีฝึกโครงข่ายที่ทุกชั้นคุยกับชั้นข้างเคียงเท่านั้นแทน forward/backward pass โดยเพิ่มตัวคูณลากรองจ์ต่อชั้นให้ predictive coding และทำ MLP 1,000 ชั้นบน MNIST ได้ใกล้ backprop — แต่ตาราง benchmark ของตัวเองแสดงว่าบน CIFAR-10 และ Tiny ImageNet ยังห่างมาก และผล 1,000 ชั้นยังไม่อยู่ใน paper บน arXiv ฉบับเดือนพฤษภาคม

· อ่าน 6 นาที