SenseNova-Loop-9B-Preview วนบล็อกเลเยอร์ซ้ำสองรอบ เปิดเป็น Apache-2.0 แต่ checkpoint บ่งชี้ว่าต่อยอดจาก Qwen3.5-9B ที่การ์ดไม่เอ่ยถึง

SenseNova ปล่อย SenseNova-Loop-9B-Preview เมื่อ 30 ต.ค. 2026 เป็นโมเดลข้อความและภาพขนาดราว 9B สัญญาอนุญาต Apache-2.0 จุดขายคือสถาปัตยกรรม: แทนที่จะเพิ่มเลเยอร์ใหม่ ก็นำบล็อกเดิมมารันซ้ำโดยใช้น้ำหนักชุดเดียวกัน

โมเดลนี้น่าสนใจเพราะเป็นแนวคิดที่ต่างจากการเพิ่มพารามิเตอร์ตรง ๆ แต่เมื่อตรวจไฟล์จริงแล้วพบว่า การ์ดโมเดลไม่ได้เล่าเรื่องที่มาของน้ำหนัก และมีข้อมูลความแม่นยำของไฟล์ที่ไม่ตรงกับ checkpoint

บล็อกเดียวรันสองรอบ

การ์ดระบุโครงสร้างดังนี้

• ถอดรหัสผ่านเลเยอร์ 0–3 จากนั้นรันบล็อก เลเยอร์ 4–27 จำนวน 24 ชั้นซ้ำสองรอบ แล้วจบด้วยเลเยอร์ 28–31
• เก็บน้ำหนักแค่ 32 เลเยอร์ แต่คำนวณจริง 56 เลเยอร์ต่อหนึ่ง forward pass ผู้พัฒนาเรียกขนาดตอนรันว่าราว 14.6B
• ส่วนที่วนรอบมี mHC แบบสองสตรีม (manifold-constrained hyper-connections) ทำหน้าที่จัดการข้อมูลระหว่าง residual สองเส้น โดยใช้ Sinkhorn 20 รอบคุมแผนที่การผสมสตรีม
• ทุกสี่เลเยอร์เป็น linear attention สามชั้น ตามด้วย full attention หนึ่งชั้น
• บริบทตอนฝึกสูงสุด 262,144 โทเคน

mHC เพิ่มพารามิเตอร์น้อยมาก ส่วนราคาที่ต้องจ่ายอยู่ที่เวลา: จำนวนเลเยอร์ที่ต้องคำนวณเพิ่มเป็น 1.75 เท่าของเลเยอร์ที่เก็บไว้ การ์ดยังไม่ให้ตัวเลข throughput และรายงานเทคนิคยังเป็น TBD

เบนช์มาร์กชนะ Qwen3.5-9B แต่ไม่ได้ชนะทุกรุ่น

ตัวเลขจากกราฟในการ์ด ผู้พัฒนาวัดเอง ยังไม่มีผลทดสอบอิสระ

Benchmark	Loop-9B	Qwen3.5-9B	Qwen3.5-27B	ตัวท็อปในกราฟ
BIRD-Dev	71.38	68.48	69.84	Loop-9B
WorkBuddy Bench	66.89	41.63	60.53	Loop-9B
AIDABench	58.87	40.78	57.19	Loop-9B
TeamBench	48.89	33.33	44.44	Loop-9B
Terminal Bench 2.1	40.45	29.20	47.19	Nanbeige 4.2-3B ที่ 49.44
τ³-Banking	18.56	9.47	19.59	Qwen3.5-27B
AutomationBench	13.72	1.05	10.17	Loop-9B
RaccoonPPTBench	70.70	33.60	59.08	Loop-9B

ข้อควรระวังมีสามข้อ RaccoonPPTBench เป็นเบนช์มาร์กภายในของ SenseNova ตามหมายเหตุใต้กราฟ และกราฟไม่มี Qwen3.8 หรือ Nanbeige4.3 รุ่นปัจจุบัน ส่วนงานเขียนโค้ดบนเทอร์มินัลซึ่งนักพัฒนาสนใจที่สุด Loop-9B ได้ 40.45 ซึ่งเท่ากับ Qwen3.5-35B-A3B และ Qwen3.6-35B-A3B

สิ่งที่พบใน checkpoint

การ์ดไม่มีฟิลด์ base_model และคำว่า Qwen ไม่ปรากฏเลย แต่เมื่อเทียบกับ Qwen/Qwen3.5-9B ซึ่งเป็น Apache-2.0 เช่นกัน ผลคือ

• ขนาดหลักตรงกันหมด: hidden 4096, 32 เลเยอร์, intermediate 12288, vocab 248,320
• ชื่อเทนเซอร์ของ Qwen3.5-9B ทั้ง 775 ตัวอยู่ใน Loop-9B ครบ ส่วนที่เพิ่มคือเทนเซอร์ mHC 96 ตัว
• จำนวนพารามิเตอร์รวมต่างกันพอดี 3,146,112 ซึ่งเท่ากับจำนวนพารามิเตอร์ mHC
• เทนเซอร์ normalization 10 ตัวที่เลือกอ่านจากเลเยอร์ 0, 1, 10 และ 11 มี correlation 0.9949–0.9999 กับ Qwen3.5-9B โดยค่าไม่เท่ากันเป๊ะ
• modeling_sensenova_loop.py สืบทอดคลาสจาก modeling_qwen3_5 ของ Transformers โดยตรง

หลักฐานนี้บ่งชี้อย่างหนักแน่นว่า Loop-9B ฝึกต่อจากน้ำหนักของ Qwen3.5-9B แต่เราตรวจเฉพาะ normalization ไม่ได้เทียบเทนเซอร์ attention และ MLP และ SenseNova ยังไม่ได้ยืนยันเรื่องนี้

อีกจุดคือการ์ดระบุว่าแบ็กโบนเป็น BF16 แต่เฮดเดอร์ของ shard ทั้ง 8 ไฟล์เป็น F32 ทั้งหมด มีเพียง mtp.safetensors ที่เป็น BF16 ขนาดดาวน์โหลดจึงอยู่ที่ราว 38GB แม้ตัวอย่างโค้ดจะโหลดเป็น bfloat16 ซึ่งใช้หน่วยความจำสำหรับน้ำหนักราว 19GB ตามการคำนวณของเรา

ใช้งานได้แค่ไหนตอนนี้

• Transformers ต้องตั้ง trust_remote_code=True และการ์ดแนะนำ transformers==5.18.0
• LightLLM มีตัวอย่าง Docker แบบสี่ GPU
• SGLang ต้องใช้ PR #47281 ซึ่งยังไม่ merge ณ วันที่เขียน
• MTP ใช้ได้แล้ว ส่วน Dspark และ Dflash2 ยังฝึกอยู่
• repo ไม่มี GGUF อย่างเป็นทางการ

มุมมอง AI Curator

ไอเดีย loop น่าติดตามจริง เพราะมันแลกหน่วยความจำกับเวลาคำนวณในทิศทางตรงข้ามกับ MoE ซึ่งเก็บน้ำหนักเยอะแต่รันทีละส่วน Loop เก็บน้อยแต่รันซ้ำ สำหรับทีมในไทยที่มี VRAM จำกัดแต่ยอมรอได้ นี่อาจเป็นทางเลือกที่มีเหตุผล ถ้าตัวเลขความเร็วจริงออกมาดี

แต่การใช้เบสที่เปิดเป็น Apache-2.0 ไม่ใช่เรื่องผิด สิ่งที่น่าติคือการไม่บอก โมเดลแบบ Preview ที่อ้างว่าชนะ Qwen3.5-9B ทุกเบนช์มาร์ก ควรบอกตรง ๆ ว่าเริ่มจากจุดไหน เพราะคำตอบเปลี่ยนความหมายของตัวเลขทั้งหมด: ถ้าฝึกต่อจาก Qwen3.5-9B ผลที่เห็นคือผลรวมของ loop, mHC และชุดข้อมูลฝึกใหม่ ไม่ใช่ผลของสถาปัตยกรรมอย่างเดียว จึงควรรอรายงานเทคนิคที่แยกผลแต่ละส่วนก่อนสรุปว่า loop ดีจริง

ส่วนคนที่อยากลองตอนนี้ แนะนำให้อ่าน modeling_sensenova_loop.py ก่อนเปิด trust_remote_code และวัดโทเคนต่อวินาทีเทียบกับ Qwen3.5-9B บนงานของตัวเอง

แหล่งข่าว

• SenseNova-Loop-9B-Preview — Hugging Face
• OpenSenseNova/SenseNova-Loop — GitHub
• Qwen3.5-9B — Hugging Face
• SGLang PR #47281 — sensenova_loop