งานวิจัย
Sakana AI เปิด PC-ALM ฝึกโครงข่าย 1,000 ชั้นโดยไม่ใช้ backpropagation — บน MNIST ห่าง backprop ราว 2 จุด แต่บน CIFAR-10 ด้วย ResNet-18 ยังตามหลัง 16 จุด
Sakana AI เผยแพร่บล็อกและโค้ด (JAX, MIT) ของ PC-ALM วิธีฝึกโครงข่ายที่ทุกชั้นคุยกับชั้นข้างเคียงเท่านั้นแทน forward/backward pass โดยเพิ่มตัวคูณลากรองจ์ต่อชั้นให้ predictive coding และทำ MLP 1,000 ชั้นบน MNIST ได้ใกล้ backprop — แต่ตาราง benchmark ของตัวเองแสดงว่าบน CIFAR-10 และ Tiny ImageNet ยังห่างมาก และผล 1,000 ชั้นยังไม่อยู่ใน paper บน arXiv ฉบับเดือนพฤษภาคม
· อ่าน 6 นาที