Sakana AI เปิด PC-ALM ฝึกโครงข่าย 1,000 ชั้นโดยไม่ใช้ backpropagation — บน MNIST ห่าง backprop ราว 2 จุด แต่บน CIFAR-10 ด้วย ResNet-18 ยังตามหลัง 16 จุด

Sakana AI แล็บจากโตเกียวเผยแพร่บล็อกแบบ interactive เรื่อง PC-ALM (Augmented Lagrangian Predictive Coding) ของ Jeffrey Seely และ Julian Gould พร้อมโค้ดอ้างอิงภาษา JAX ใต้ไลเซนส์ MIT ที่ github.com/SakanaAI/pc-alm (commit แรก 8 ก.ย. 2026) ข่าวนี้ขึ้นหน้าแรก Hacker News เมื่อ 14 ก.ย. ข้อเสนอของงานคือวิธีฝึกโครงข่ายประสาทเทียมที่ ไม่ใช้ backpropagation เลย แต่ละชั้นสื่อสารกับชั้นที่อยู่ติดกันเท่านั้น และทีมบอกว่า “เท่าที่เรารู้” นี่เป็นวิธีแบบ layer-local วิธีแรกที่ฝึกโครงข่ายลึกถึง 1,000 ชั้น ได้สำเร็จ

เรื่องวันที่ต้องแยกให้ชัด: paper arXiv:2605.31022 ขึ้นมาตั้งแต่ 29 พ.ค. 2026 และยังมีแค่ v1 ซึ่ง abstract ทดลองลึกสุดแค่ 128 ชั้น ผลที่เป็นหัวข่าว คือ MLP 1,000 ชั้นกับ ResNet-18 บน CIFAR-10 และ Tiny ImageNet มีอยู่ในบล็อกฉบับนี้เท่านั้น ยังไม่อยู่ใน paper ฉบับที่เปิดให้อ่าน และสคริปต์ในรีโปก็ครอบคลุมแค่กริด MNIST / Fashion-MNIST

ปัญหาที่งานนี้พยายามแก้

backprop ทำงานเป็นสามจังหวะตามลำดับตายตัว คือ forward pass แล้ว backward pass แล้วจึงอัปเดตน้ำหนัก นิวรอนในชั้นต้นต้องถือค่า activation รอจนสัญญาณ error เดินทางกลับมาถึง บล็อกเรียกปัญหานี้ว่า “phase locking” สมองไม่มีกลไกที่รู้จักซึ่งจะประสานจังหวะแบบนี้ได้ทั้งเครือข่าย การหาว่าสมองแก้ปัญหา credit assignment ในหลายชั้นได้อย่างไรจึงยังเป็นโจทย์เปิดของประสาทวิทยา

Predictive coding (PC) เป็นทางเลือกแบบ local ที่รู้จักกันมานาน แต่ละชั้นพยายามทำนายสัญญาณที่เข้ามา แล้วส่งต่อเฉพาะ “ส่วนที่ทำนายพลาด” ทุกการอัปเดตใช้ข้อมูลจากชั้นข้างเคียงเท่านั้น ข้อเสียที่มีการบันทึกไว้คือ signal decay สัญญาณ supervision ที่เข้ามาทางชั้นบนสุดต้องไหลผ่าน “การประนีประนอม” ของแต่ละชั้นทีละขั้น พอเครือข่ายลึกและแคบ (ความกว้างน้อยกว่าความลึก) สัญญาณก็จางหายไปก่อนจะถึงชั้นล่าง

PC-ALM เพิ่มอะไร

PC-ALM เปลี่ยนฟังก์ชันพลังงานของ PC เป็น augmented Lagrangian ซึ่งเป็นเครื่องมือมาตรฐานในงาน distributed optimization แล้วเพิ่ม “dual neuron” (ตัวคูณลากรองจ์) หนึ่งชุดต่อชั้น ที่ขนาดเท่ากับ activation ของชั้นนั้น ระหว่าง inference ตัวแปร dual จะสะสม prediction error ของชั้นตัวเองไปเรื่อย ๆ ผู้เขียนตีความว่าแต่ละชั้นกลายเป็น ตัวควบคุมป้อนกลับแบบ PI โดย error ปัจจุบันคือเทอม P และ error สะสมคือเทอม I ส่วน credit assignment ระดับทั้งเครือข่ายเกิดจากตัวควบคุมย่อยเหล่านี้ทำงานร่วมกัน

ฐานทางทฤษฎีมาจากงานของ LeCun ในปี 1988 ที่แสดงว่าตัวคูณลากรองจ์ของเครือข่ายแบบมีเงื่อนไขเข้ารหัสสัญญาณ credit ของ backprop ไว้ที่จุดสมดุล paper พิสูจน์ว่า ในเครือข่ายเชิงเส้น ตัวแปร dual ของ PC-ALM ลู่เข้าสู่ gradient ของ backprop แบบตรงทุกค่า โดยใช้การคำนวณแบบ local ล้วน ส่วนเครือข่ายไม่เชิงเส้นยังเป็นเรื่องที่ต้องทดลองดู ทีมยังพบพฤติกรรมที่เรียกว่า credit propagation แบบ “ballistic” สัญญาณเคลื่อนเป็นหน้าคลื่นจากชั้นบนลงล่างเร็วกว่าและกระจายสม่ำเสมอกว่าการแพร่แบบความร้อนของ PC และนิวรอนแต่ละตัวแกว่งแบบหน่วง ถ้าขนาดก้าวของ dual (α) ใหญ่เกินไป ระบบจะไม่เสถียร

ตัวเลขจากตารางของ Sakana เอง

MLP กว้าง 32 ฝึก 1 epoch เฉลี่ย 3 seed (Tiny ImageNet ใช้ 5 seed) และทุกวิธีใช้งบ inference เท่ากันที่ T = 2L:

ชุดข้อมูล / โมเดล	Backprop	PC	PC-ALM
MNIST, MLP 32 ชั้น	86.48	63.21	84.96
MNIST, MLP 128 ชั้น	80.84	42.55	78.91
Fashion-MNIST, MLP 128 ชั้น	74.70	53.20	73.64
CIFAR-10, ResNet-18	90.44	55.93	74.18
Tiny ImageNet top-1, ResNet-18	44.93	12.00	19.72

สำหรับการทดลอง 1,000 ชั้น (residual MLP กว้าง 32 บน MNIST ฝึก 5 epoch) กราฟในบล็อกแสดง PC-ALM ราว 87–88% เทียบกับ backprop ราว 89–90% ขณะที่ PC ธรรมดาตกไปอยู่ราว 60% ตัวเลขนี้อ่านจากกราฟ บล็อกไม่ได้ให้ค่าเป็นตัวเลข ส่วนคำบรรยายกราฟบอกว่า PC-ALM “อยู่ภายในราว 2 จุดของ backprop ตลอดทุกความลึก”

ตารางนี้เล่าสองเรื่องพร้อมกัน บน MLP แคบ ๆ PC-ALM ปิดช่องว่างเกือบหมดจริง แต่พอขยับไปงานภาพที่ยากขึ้นด้วย ResNet-18 ช่องว่างกลับมาชัด ตามหลัง backprop 16 จุดบน CIFAR-10 และ 25 จุดบน Tiny ImageNet top-1 คำว่า “near-backprop” ในหัวบล็อกจึงใช้ได้กับการทดลองแบบ MLP เท่านั้น แม้ PC-ALM จะดีกว่า PC ธรรมดาในทุกแถวก็ตาม

สิ่งที่บล็อกไม่ได้บอก

• ต้นทุนการคำนวณ: ทุก mini-batch ต้องรัน inference T = 2L ก้าวก่อนอัปเดตน้ำหนักหนึ่งครั้ง เครือข่าย 1,000 ชั้นจึงต้องรัน 2,000 ก้าวต่อ batch ขณะที่ backprop ใช้ forward กับ backward อย่างละรอบ บล็อกไม่มีตัวเลขเวลาหรือ FLOPs เทียบกันเลย ทีมบอกเองว่าแรงจูงใจหลักคือความเข้าใจทางประสาทวิทยา และผลพลอยได้ที่หวังไว้คือฮาร์ดแวร์ neuromorphic ที่การจำลองระบบพลวัตถูกกว่าบน GPU ไม่ใช่การฝึกบน GPU ให้เร็วขึ้น
• สิ่งที่ทำซ้ำได้วันนี้: README ให้คำสั่งทำซ้ำหนึ่งช่องของกริด (Fashion-MNIST, กว้าง 32, ลึก 32, ReLU) และบอกผลที่คาดไว้จากการรันบน CPU คือ BP 78.66%, PC 68.13%, PC-ALM 77.75% ค่า cosine ระหว่าง gradient กับของ backprop อยู่ที่ 0.604 สำหรับ PC และ 0.909 สำหรับ PC-ALM กริดเต็มคือ 675 รัน แต่รีโปยังไม่มีสคริปต์ของการทดลอง 1,000 ชั้นหรือ ResNet-18
• สิ่งที่ต้องแลก: ใน PC ค่า activation หลัง inference จะต่างจาก forward pass ซึ่งงานก่อนหน้าเรียกว่า prospective configuration และพบว่าช่วยให้เรียนรู้จากตัวอย่างน้อยได้ดีขึ้น ผู้เขียนยอมรับว่า PC-ALM เสียคุณสมบัตินี้ไปที่จุดลู่เข้า และสงสัยว่าอาจเป็นการแลกกันแบบพื้นฐานระหว่างสองคุณสมบัติ

มุมมอง AI Curator

ข่าวนี้อ่านได้สองแบบ แบบที่ผิดคือ “Sakana หาตัวแทน backprop ได้แล้ว” งานนี้ไม่ได้อ้างอย่างนั้น และตัวเลข CIFAR-10 กับ Tiny ImageNet ของทีมเองก็บอกชัดว่ายังไม่ใช่ ใครที่ฝึกโมเดลภาษาหรือโมเดลภาพบน GPU ในวันนี้ งานนี้ไม่ได้เปลี่ยนอะไรในงานประจำวันของคุณ แบบที่ถูกคือ ปัญหา signal decay ที่ทำให้ predictive coding ติดอยู่กับเครือข่ายตื้น ๆ มานาน ถูกแก้ด้วยเครื่องมือจาก optimization ที่มีมาหลายสิบปี แค่เพิ่มตัวแปรหนึ่งชุดต่อชั้นโดยไม่เพิ่มงบ inference พอข้ามจาก “ลึกได้ราวร้อยชั้น” ไปเป็น “พันชั้น” คำถามต่อไปก็เปลี่ยนจากทำได้หรือไม่ ไปเป็นทำให้ดีบนงานยาก ๆ ได้หรือไม่

ประเด็นที่ผมให้น้ำหนักมากที่สุดคือฮาร์ดแวร์ การเรียนรู้แบบ local ที่ไม่ต้องล็อกจังหวะทั้งเครือข่ายคือสิ่งที่ชิป neuromorphic และ analog in-memory computing ต้องการ เพราะชิปพวกนี้เก็บ activation ไว้รอ backward pass ได้ยาก ถ้าวันหนึ่งอุปกรณ์ปลายทางต้องเรียนรู้ต่อเนื่องบนตัวเองด้วยพลังงานต่ำ วิธีตระกูลนี้คือผู้สมัครตัวจริง นอกจากนี้งานนี้ยังเข้ากับแนวของ Sakana ที่ชอบหยิบกลไกจากธรรมชาติมาทำงานวิจัย ตั้งแต่ evolutionary model merging ไปจนถึง Continuous Thought Machines แทนที่จะแข่งกันขยายขนาดโมเดลแบบแล็บใหญ่

สำหรับนักวิจัยและนักศึกษาไทย งานแบบนี้เข้าถึงง่ายผิดปกติ ชุดข้อมูลคือ MNIST และ Fashion-MNIST โค้ดรันบน CPU ได้ และคำถามที่ยังเปิดอยู่ ทั้งเรื่องต้นทุน T = 2L งานเชิงเวลา loss แบบ self-supervised และช่องว่างบน ResNet ล้วนเป็นโจทย์วิทยานิพนธ์ที่ไม่ต้องใช้คลัสเตอร์ GPU แค่ต้องจำไว้ว่าผล 1,000 ชั้นกับ ResNet ยังรอเวอร์ชันที่ตรวจสอบได้ ทั้งใน paper ฉบับถัดไปและในรีโป ก่อนจะอ้างต่อเป็นข้อเท็จจริงที่ยืนยันแล้ว

แหล่งข่าว

• Sakana AI — Augmented Lagrangian Predictive Coding: training 1000-layer networks without backpropagation
• arXiv:2605.31022 — Augmented Lagrangian Predictive Coding (v1, 29 พ.ค. 2026)
• GitHub — SakanaAI/pc-alm (โค้ดอ้างอิง JAX, MIT)