Needle 2: โมเดล 45M พารามิเตอร์ในไฟล์ 14MB เรียก tool ได้บนไมโครคอนโทรลเลอร์ — แต่ตารางเบนช์มาร์กของมันเองบอกว่ายังแพ้รุ่นพี่ในหลายข้อ

ระหว่างที่ข่าวใหญ่ของสัปดาห์นี้วิ่งไปทางโมเดลเปิดขนาด 30B ขึ้นไป มีการปล่อยที่วิ่งสวนทางอย่างสุดขั้ว วันที่ 10 สิงหาคม 2026 ทีม Cactus Compute เปิดตัว Needle 2 — โมเดล 45 ล้านพารามิเตอร์ ที่บีบอัดจนเหลือ ไบนารีเดียวขนาด 14MB และใช้หน่วยความจำตอนทำงานจริงราว 28MB เรื่องนี้ขึ้น Hacker News ที่ 354 คะแนน และรีโปบน GitHub มีดาวสะสม 3,577 ดวง

สิ่งที่ทำให้มันน่าสนใจไม่ใช่ขนาดเพียงอย่างเดียว แต่คือ ขอบเขตงานที่มันปฏิเสธจะทำ — Needle 2 ไม่ใช่แชตบอต มันแก้ทุกปัญหาด้วยการเรียกฟังก์ชันเท่านั้น ข้อความเข้า JSON ออก จบ

14MB นั้นได้มาอย่างไร

Needle 2 สร้างบนสถาปัตยกรรมที่ทีมเรียกว่า Simple Attention Network ซึ่งมีเปเปอร์รองรับ (arXiv:2607.18363 ส่งเมื่อ 20 ก.ค. 2026 ชื่อ A Controlled Study of Attention-Only Transformers) ใจความของเปเปอร์คือการทดสอบว่า feed-forward network จำเป็นจริงหรือไม่ โดยควบคุมพารามิเตอร์ คอมพิวต์ และความลึกให้เท่ากันที่สเกล 6M–87M พบว่าการตัด FFN ทิ้งทำให้เสียประสิทธิภาพเพียง ~0.006 nats และช่องว่างที่เหลือมาจากงานประเภท “การจำจากน้ำหนัก” ไม่ใช่การใช้ข้อมูลใน context

ตัวโมเดลจึงประกอบด้วย Hadamard MLP แทน FFN (ใช้ Walsh-Hadamard transform ซึ่งเป็นเมทริกซ์คงที่ ไม่มีน้ำหนักให้อ่าน คำนวณในเวลา n log n), GQA attention, หน่วยความจำแบบ engram key-value จากตาราง n-gram ที่ hash ไว้ และ multi-lane hyper-connections จากนั้นควอนไทซ์ด้วย CQ2 (2 บิต) ของ Cactus แล้วอบรวมเข้ากับ engine เป็นไฟล์เดียว

ผลคือค่าใช้จ่ายราว 70 MFLOPs ต่อ token เทียบกับทรานส์ฟอร์เมอร์ปกติที่ 87–164 MFLOPs — ตัวเลขนี้สำคัญกว่าความเร็วดิบ เพราะบนอุปกรณ์ที่ใช้แบตเตอรี่ พลังงานคือข้อจำกัดจริง ไม่ใช่เวลา

ความเร็วและอุปกรณ์ที่รันได้

ตัวเลขจากโมเดลการ์ด:

อุปกรณ์	ความเร็ว decode
Raspberry Pi 5	500+ tokens/วินาที
Meta Quest 3S / Apple Vision Pro	400–1,500 tokens/วินาที
มือถือราคาต่ำกว่า $200 (เช่น Samsung A-Series)	300–700 tokens/วินาที

ฝั่งอุปกรณ์เล็กสุด ทีมระบุว่าเข้าถึงไมโครคอนโทรลเลอร์อย่าง ESP32-P4 ได้ และ “มีคนรายงานว่ารันบน ESP32-S3 ด้วยหน่วยความจำราว 11MB” — สังเกตว่าอันหลังทีมเขียนเป็นรายงานจากผู้อื่น ไม่ใช่ผลทดสอบของตัวเอง

รายการแพลตฟอร์มยาวผิดปกติสำหรับโมเดล AI: ARM64, x86-64, ARMv7, RISC-V, MIPS32el (กล้อง Ingenic, เราเตอร์), WebAssembly, iOS/watchOS/tvOS, Android, Windows ARM ทั้งหมดเป็นไบนารีคอมไพล์แล้วหรือ static library ไม่ต้องมี runtime ไม่ต้องดาวน์โหลดอะไรเพิ่ม ไม่ต้องต่อเน็ต ฝั่ง Python คือ pip install cactus-needle

สัญญาอนุญาต และเบนช์มาร์กที่ควรอ่านให้ครบ

สัญญาอนุญาตแยกกันสองส่วน — น้ำหนักบน Hugging Face ระบุ apache-2.0 ส่วนไฟล์ LICENSE ของรีโป GitHub เป็น MIT ทั้งคู่เป็นสัญญาอนุญาตแบบอนุญาตกว้าง ใช้เชิงพาณิชย์ได้ และทีมระบุว่าโมเดล fine-tune ต่อได้ทั้งตัวแล้ว export เป็น .cact ไปใช้แบบเดียวกับตัวหลัก

ส่วนเบนช์มาร์ก ทีมเองเผยแพร่ตารางที่ ไม่ได้เข้าข้างตัวเองทั้งหมด ซึ่งควรชื่นชม:

เบนช์มาร์ก	Needle 2 (45M)	LFM2.5 230M	FunctionGemma 270M	Apple FM
Mobile Actions (961 แถว)	63.7%	69.1%	64.0%	57.6%
DroidCall test (200 แถว)	17.0%	11.0%	17.5%	—
Seal-Tools in-domain (700 แถว)	32.6%	26.9%	16.3%	—
Seal-Tools out-of-domain (654 แถว)	28.7%	17.0%	15.6%	—
BFCL v4 single-turn (3,641 แถว)	42.6%	60.8%	46.1%	61.7%

อ่านตารางนี้ตรง ๆ: Needle 2 ชนะขาด บน Seal-Tools ทั้งสองชุด (โดยเฉพาะ out-of-domain ที่ทิ้งอันดับสองเกือบ 12 จุด — สัญญาณว่ามันวางนัยทั่วไปไปยัง tool ที่ไม่เคยเห็นได้ดี) เสมอ บน DroidCall แต่ แพ้ บน Mobile Actions และ แพ้ขาด บน BFCL v4 ที่ 42.6% เทียบกับ 60.8–61.7% ของรุ่นพี่

ข้อสรุปที่ซื่อสัตย์จึงไม่ใช่ “โมเดล 45M เก่งเท่า 230M” แต่คือ “เล็กกว่า 5–70 เท่าแล้วยังอยู่ในสนามเดียวกัน และในบางสนามชนะ” ซึ่งสำหรับงานที่หน่วยความจำคือข้อจำกัดตายตัว นั่นคือคนละคำถามกับ “ใครคะแนนสูงสุด”

กลไกที่ทำให้ไว้ใจได้จริงในงานฝังตัว

สามอย่างที่ออกแบบมาเพื่อความน่าเชื่อถือมากกว่าความฉลาด:

• Grammar-constrained decoding — ไวยากรณ์ระดับไบต์คอมไพล์จาก JSON schema ที่ประกาศไว้ ควบคุมทุก token ที่ปล่อยออกมา JSON จึงพังไม่ได้เชิงโครงสร้าง และเงื่อนไขอย่าง minimum/maximum/pattern/enum ถูกบังคับตอน decode ไม่ใช่ตอน validate ทีหลัง
• Confidence gating — ทุกคำตอบมีคะแนนความมั่นใจที่เป็นค่าต่ำสุดของสองสัญญาณ (calibrated head + ความน่าจะเป็นของ token) สัญญาว่า failure mode คือ “ส่งต่อให้โมเดลใหญ่” ไม่ใช่ “ทำผิด”
• Tool retrieval — ประกาศ tool ได้เป็นร้อย แต่แต่ละเทิร์นจะ render เข้า context แค่ 5 ตัวที่คะแนนสูงสุด และไวยากรณ์ถูกสร้างใหม่ให้ครอบเฉพาะชุดนั้น tool ที่ไม่ถูกเลือกจึง เรียกไม่ได้เลย ไม่ใช่แค่ “โอกาสน้อย”

อีกจุดที่ออกแบบดีคือ context เป็น sliding window 256 token โดยปักหมุด tool ไว้เป็น KV sink หน่วยความจำจึงคงที่ราว 28MB ไม่ว่าบทสนทนาจะยาวแค่ไหน — คุณสมบัติที่จำเป็นถ้าจะฝังลงอุปกรณ์ที่รันเป็นเดือนโดยไม่รีบูต

มุมมอง AI Curator

โพสต์นี้ควรอ่านคู่กับข่าว Muse Glimmer 30B ที่เราเขียนไปเมื่อเช้า เพราะสองอันนี้คือปลายคนละด้านของคำถามเดียวกัน — agent ควรอยู่ตรงไหนของ stack

ในไทย ผมคิดว่าโมเดลระดับ Needle มีเส้นทางไปสู่การใช้จริงที่ สั้นกว่า โมเดล 30B อย่างมีนัยสำคัญ เหตุผลคือรายการอุปกรณ์นั้น อุตสาหกรรมที่ไทยทำจริงและทำเยอะคือ การผลิตอิเล็กทรอนิกส์และเครื่องใช้ไฟฟ้า — โรงงานในระยองและชลบุรีประกอบแอร์ กล้องวงจรปิด เราเตอร์ และอุปกรณ์ IoT ส่งออกทั้งปี อุปกรณ์เหล่านั้นใช้ชิปคลาส ESP32 และ MIPS ซึ่งอยู่ในรายการที่ Needle รองรับพอดี การเพิ่มความสามารถ “พูดสั่งงานได้ ตีความเป็นคำสั่งโครงสร้าง” ลงในสินค้าที่ผลิตอยู่แล้ว โดยไม่ต้องเพิ่ม BOM cost ไม่ต้องมี cloud และไม่ต้องต่อเน็ต เป็นข้อเสนอที่ผู้ผลิต OEM เข้าใจได้ทันทีว่ามีมูลค่าตรงไหน

และมีข้อได้เปรียบด้าน ภาษาและความเป็นส่วนตัว ที่ตามมาโดยไม่ต้องขอ — เมื่อทุกอย่างรันในเครื่อง เสียงและคำสั่งของผู้ใช้ไม่เคยออกจากอุปกรณ์ ซึ่งเป็นคำตอบสำเร็จรูปสำหรับ PDPA และสำหรับลูกค้าองค์กรที่ไม่ยอมให้ข้อมูลออกนอกประเทศ

แต่ต้องเตือนสองข้อ หนึ่ง โมเดลการ์ดไม่ได้แสดงผลเบนช์มาร์กภาษาไทยเลย ทั้งห้าชุดเป็นเบนช์มาร์กภาษาอังกฤษ ความสามารถในการตีความ “เปิดแอร์ห้องนอนที่ยี่สิบห้าองศา” ยังไม่มีตัวเลขรองรับ ใครจะเอาไปใช้ต้องทดสอบเอง และ fine-tune น่าจะเป็นข้อบังคับไม่ใช่ทางเลือก สอง ที่ 45M พารามิเตอร์และ context 256 token นี่ไม่ใช่โมเดลที่ “เข้าใจ” อะไร มันคือตัวแปลงประโยคเป็น function call ที่แม่นพอใช้ในขอบเขตแคบ ๆ ใครออกแบบผลิตภัณฑ์โดยคาดหวังมากกว่านั้นจะเจอเพดานเร็ว — และคะแนน BFCL v4 ที่ 42.6% คือเพดานนั้นเขียนเป็นตัวเลขไว้แล้ว

แหล่งข่าว

• Needle 2 — Cactus Compute (หน้าประกาศพร้อมตารางเบนช์มาร์ก)
• Cactus-Compute/needle2 — โมเดลการ์ดบน Hugging Face
• cactus-compute/needle — ซอร์สโค้ดและ engine (GitHub, MIT)
• A Controlled Study of Attention-Only Transformers (arXiv:2607.18363)