MiniCPM-V 4.7 (Apache-2.0): OpenBMB ปล่อย VLM แบบ MoE 35B-A3B ที่อ้างว่ารันบน iPhone ได้ 13+ tokens/s ด้วยหน่วยความจำ 3GB พร้อมรุ่น 1B — แต่ฟีเจอร์ความเร็วบนมือถืออยู่ใน fork ของ llama.cpp เท่านั้น

ข่าวย้อนหลัง: OpenBMB ประกาศ MiniCPM-V 4.7 เมื่อ 12 ต.ค. 2026 และปล่อยหัว speculative decoding (DSpark) ตามมาเมื่อ 15 ต.ค. เราพลาดไปในรอบนั้น แต่สัปดาห์นี้มันเป็นโมเดลที่มียอดไลก์สูงเป็นอันดับ 2 บน Hugging Face รองจาก DeepSeek V4.1 Flash 1017 จึงสรุปไว้ตรงนี้

OpenBMB (ทีมร่วมของ ModelBest และมหาวิทยาลัยชิงหัว) ปล่อย MiniCPM-V 4.7 เป็นสองขนาด คือ 35B-A3B ซึ่งเป็นโมเดล MoE ตัวแรกของซีรีส์ MiniCPM-V และ 1B สำหรับอุปกรณ์เล็ก ทั้งสองตัวเป็นโมเดลภาพ+ภาษา (VLM) ที่รับภาพเดี่ยว หลายภาพ และวิดีโอ ติดป้าย Apache-2.0 บนการ์ดโมเดล

ประเด็นหลักที่ทีมชูคือการรัน MoE บนมือถือโดยไม่ต้องตัด expert ทิ้ง ปกติโมเดล MoE ขนาด 35B ต้องโหลดน้ำหนักทั้งก้อนไว้ในหน่วยความจำ ถึงจะใช้จริงแค่ ~3B ต่อโทเคน การ์ดโมเดลระบุว่ารุ่น 35B-A3B ถอดรหัสได้ “13+ tokens/s with just 3 GB of memory on iPhone 17 Pro Max” โดยเก็บ expert ไว้ในหน่วยเก็บข้อมูลแล้วดึงมาใช้ล่วงหน้าตามที่คาดว่าจะต้องใช้

สเปก: แกนคือ Qwen3.6 และเทียบกับ Qwen3.6

• แกนภาษา: config.json ของรุ่น 35B-A3B ระบุ text_config เป็น qwen3_5_moe_text จำนวน 40 ชั้น, 256 experts, เลือก 8 ตัวต่อโทเคน, hidden 2048 และ context 262,144 โทเคน ส่วนกิตติกรรมประกาศในการ์ดเขียนว่า Qwen3.5 กับ Qwen3.6 เป็น “language backbone” และ SigLIP2 เป็นตัวเข้ารหัสภาพ ส่วนรุ่น 1B ใช้แกน qwen3_5_text ขนาด 24 ชั้น
• การบีบโทเคนภาพ: ใช้เทคนิค intra-ViT early compression จาก LLaVA-UHD v4 บีบโทเคนภาพตั้งแต่อยู่ในตัวเข้ารหัส และเลือกได้ว่าจะบีบ 4x หรือ 16x เพื่อแลกระหว่างรายละเอียดกับความเร็ว
• ขนาดไฟล์: BF16 รุ่น 35B-A3B มี 16 shard และมี GGUF, AWQ, GPTQ, BNB และ FP8 ให้ บน Ollama มี openbmb/minicpm-v4.7 ขนาด 22GB (35B-A3B) และ 1.8GB (1B)
• ไลเซนส์: การ์ดโมเดลติด apache-2.0 แต่ในรีโปไม่มีไฟล์ LICENSE แยก ส่วนแกน Qwen3.6-35B-A3B ที่นำมาต่อยอดก็เป็น Apache-2.0 อยู่แล้ว

ตารางในการ์ด (โหมด Instruct, บีบภาพ 4x) ให้รุ่น 35B-A3B ได้ MMBench 91.72, MMMU 80.22, MathVista 88.00, OCRBench 91.20 และ OmniDocBench v1.6 94.24 เทียบกับ Qwen3.6-35B-A3B ที่ได้ 86.76, 77.44, 84.40, 86.00 และ 80.17 ตามลำดับ แต่ก็ไม่ได้ชนะทุกช่อง เช่น Qwen3.6-35B-A3B ชนะ SimpleVQA (54.40 ต่อ 54.14) และ MMMU-Pro (69.88 ต่อ 69.71) ส่วน Qwen3.8-27B ชนะ MathVision ขาด (78.22 ต่อ 74.24) และกราฟ performance–efficiency ของทีมเองก็แสดงว่า Qwen3.8-27B ในโหมด thinking ยังได้คะแนนเฉลี่ยสูงกว่า เพียงแต่ใช้เวลาอนุมานนานกว่าราวสามเท่า

ความเร็วบนมือถือ: ตัวเลขสองชุด และอยู่ใน fork

เทคนิคที่ทำให้รันบนมือถือได้ชื่อ Lookahead Expert Scheduling (LES) ทำงานโดยทำนายข้ามชั้นว่าชั้นถัดไปน่าจะใช้ expert ตัวไหน แล้วโหลดไว้ก่อน expert ที่ router เลือกจริงและโหลดเสร็จแล้วจะถูกคำนวณก่อน ส่วนตัวที่ทายพลาดก็โหลดตามปกติ ทีมย้ำว่าการทำนายใช้แค่จัดลำดับการโหลด ไม่ได้เปลี่ยนการ routing ของโมเดล จึงไม่ต้องฝึกเพิ่ม

เอกสาร LES ในรีโป OpenBMB/llama.cpp-omni ให้ตัวเลขแยกทีละขั้นบน iPhone 18 Pro Max (RAM 12GB):

ขั้นการปรับแต่ง	ความเร็วถอดรหัส
โหลด expert จาก SSD เฉย ๆ	3.38 tokens/s
+ LES	6.57 tokens/s
+ จัดเลย์เอาต์น้ำหนักและลดการอ่านไฟล์	11.34 tokens/s
+ quantize แบบ mixed-precision รายชั้น	17.16 tokens/s
+ DSpark speculative sampling	20.51 tokens/s

บน iPad Pro M4 (16GB) ได้ 17.39 tokens/s ข้อสังเกตคือตัวเลขในการ์ดโมเดล (13+ tokens/s บน iPhone 17 Pro Max ที่ 3GB) กับในเอกสาร LES (20.51 tokens/s บน iPhone 18 Pro Max) มาจากเครื่องต่างรุ่นกัน และคำว่า “lossless” ที่ทีมใช้ครอบคลุมขั้นที่มีการ quantize ด้วย ซึ่งโดยหลักแล้วไม่ใช่ lossless ทางคณิตศาสตร์ ทีมแค่อ้างว่าคะแนนไม่ตก

ที่สำคัญกว่าสำหรับนักพัฒนาคือ LES อยู่ใน fork llama.cpp-omni ของ OpenBMB เท่านั้น ฝั่ง llama.cpp ตัวหลักรองรับสถาปัตยกรรม MiniCPM-V 4.7 แล้วตั้งแต่ PR #29416 (merge 10 ต.ค.) แต่ยังมี PR #30510 ที่แก้ตำแหน่ง marker ของภาพใน prompt ซึ่งยังเปิดค้างอยู่ ถ้ารันผ่าน llama.cpp หรือ Ollama ตัวปกติบนพีซี ต้องเตรียมหน่วยความจำราว 22GB สำหรับ GGUF ของรุ่น 35B-A3B ไม่ใช่ 3GB

รองรับอะไรบ้าง

ทีมระบุว่ารองรับ SGLang, vLLM, llama.cpp และ Ollama ฝั่ง inference และ SWIFT กับ LLaMA-Factory ฝั่ง fine-tune มี day-0 support บนชิป Rockchip, Houmo, Intel, AMD และ Arm และแอปบน iOS, Android, HarmonyOS นอกจากนี้ยังปล่อยวิธี fine-tune ชื่อ Self-Replay Fine-Tuning (SRFT) ที่อ้างว่าช่วยลดการลืมความสามารถเดิมเวลาสอนงานใหม่ (vLLM 0.32 ที่ออกเมื่อวานก็ใส่ MiniCPM-V 4.7 ไว้ในรายการโมเดลใหม่ ดูข่าว vLLM 0.32)

มุมมอง AI Curator

ส่วนที่น่าสนใจจริงของ MiniCPM-V 4.7 ไม่ใช่คะแนน benchmark แต่เป็น LES เพราะมันตอบปัญหาที่ค้างมานานของ MoE บนอุปกรณ์ คือโมเดล MoE ประหยัดการคำนวณ แต่ไม่ประหยัดหน่วยความจำ ถ้าวิธีพรีเฟตช์ expert จาก flash แบบนี้ใช้ได้จริงและเข้า llama.cpp ตัวหลักได้ในอนาคต โมเดลกลุ่ม 30B-A3B ที่ตอนนี้ต้องใช้การ์ด 24GB อาจย้ายไปอยู่บนมือถือ ระดับเรือธงหรือแล็ปท็อป RAM 16GB ได้ แต่วันนี้ยังต้องผูกกับ fork ของผู้ผลิต ซึ่งเป็นความเสี่ยงด้านการดูแลระยะยาวที่ทีมควรรู้ก่อนจะสร้างแอปบนมัน

อีกเรื่องที่ควรอ่านให้ออกคือการเทียบกับ Qwen3.6-35B-A3B ซึ่งเป็นแกนของมันเอง การชนะแกนตัวเองในงานภาพแปลว่าการฝึกส่วนภาพของ OpenBMB ได้ผล แต่ไม่ได้แปลว่าเก่งกว่า Qwen รุ่นใหม่ล่าสุด เพราะ Qwen3.8-27B ยังนำในคะแนนเฉลี่ย สำหรับทีมไทย จุดที่น่าลองคือคะแนน OCR และเอกสาร (OCRBench 91.2, OmniDocBench 94.2) ซึ่งเหมาะกับงานอ่านใบแจ้งหนี้หรือเอกสารราชการแบบออฟไลน์ แต่การ์ดโมเดลไม่ได้ระบุภาษาไทยเลย ก่อนใช้กับเอกสารไทยจริงควรวัดกับชุดข้อมูลของตัวเอง โดยเฉพาะตอนบีบภาพ 16x ที่รายละเอียดตัวอักษรเล็ก ๆ อาจหายไปก่อนเพื่อน

แหล่งข่าว

• MiniCPM-V 4.7 35B-A3B — Hugging Face model card
• MiniCPM-V 4.7 1B — Hugging Face model card
• MiniCPM-V 4.7 release docs — GitHub (OpenBMB/MiniCPM-o)
• LES: Lookahead Expert Scheduling — GitHub (OpenBMB/llama.cpp-omni)
• llama.cpp PR #29416: [Model] Support MiniCPM-V 4.7