Meta เปิดน้ำหนัก MobileMoE — MoE สำหรับมือถือที่ใช้ 272M พารามิเตอร์ต่อโทเคน แต่ทำ MMLU 43.7 ทิ้ง Gemma 3 270M ที่ได้ 26.7

โมเดลบนอุปกรณ์ติดกำแพงเดียวกันมาตลอด: RAM ของโทรศัพท์จำกัดจำนวนพารามิเตอร์ที่โหลดได้ และจำนวนพารามิเตอร์นั้นก็จำกัดความรู้ที่โมเดลมี ทางออกที่ทุกคนใช้คือทำโมเดล dense ให้เล็กลงเรื่อย ๆ แล้วยอมรับว่าที่ 300M พารามิเตอร์ โมเดลจะไม่รู้อะไรมากนัก — Gemma 3 270M ทำ MMLU ได้ 26.7 ซึ่งแทบไม่ต่างจากการเดาสุ่ม

คืนวันที่ 25 สิงหาคม 2026 (ราวตี 2 ตามเวลาไทยของวันที่ 26) Meta เปิดน้ำหนัก MobileMoE สามขนาดบน Hugging Face ภายใต้ org facebook — และข้อเสนอของมันคือการแยกสองข้อจำกัดนั้นออกจากกัน: พารามิเตอร์ที่เก็บ กับ พารามิเตอร์ที่คำนวณ ไม่จำเป็นต้องเป็นตัวเลขเดียวกัน

สถาปัตยกรรม — expert 60 ตัว เลือกใช้ 4

ทั้งสามรุ่นใช้โครงเดียวกัน ต่างกันแค่ขนาด: MoE แบบ fine-grained ที่มี routed expert 60 ตัว บวก shared expert อีก 1 ตัวที่ทำงานตลอดเวลา เลือกใช้ top-4 ด้วย sigmoid routing ต่อโทเคน

รุ่น	พารามิเตอร์รวม	ที่ใช้จริงต่อโทเคน	layer	d_model	INT4
MobileMoE-S-Base	1.3B	272M	20	768	0.68 GB
MobileMoE-M-Base	2.8B	528M	26	1024	1.48 GB
MobileMoE-L-Base	5.3B	922M	32	1280	<3 GB

คะแนนเฉลี่ยจาก 14 เบนช์มาร์กพื้นฐานไล่ตามขนาด: 46.5 (S) → 55.4 (M) → 59.8 (L)

ทั้งหมดใช้ GQA (รุ่น L: 20 query head / 4 KV head), vocab 128,256 และ context 8,192 โทเคน — ตัวเลขสุดท้ายนี้คือข้อจำกัดที่ต้องรับรู้ตั้งแต่ต้น มันไม่ใช่โมเดลสำหรับอ่านเอกสารยาวหรือขับ agent ที่ต้องจำประวัติยาว ๆ

การเทรนแบ่งเป็นสี่ขั้น: pre-train ราว 6 ล้านล้านโทเคน ที่ context 2,048 → mid-train อีกราว 500 พันล้านโทเคน ที่ context 8,192 → SFT → QAT (quantization-aware training) เช็กพอยต์ที่ปล่อยออกมาคือขั้นที่สอง

ตัวเลขที่ทำให้เรื่องนี้น่าสนใจ

รุ่น S (1.3B รวม / 272M ที่ใช้จริง) เทียบกับโมเดล dense ขนาดใกล้เคียง:

เบนช์มาร์ก	MobileMoE-S	Gemma 3 270M	SmolLM2 360M
MMLU (5-shot)	43.7	26.7	25.2
GSM8K (8-shot)	36.2	1.8	5.3
DROP (3-shot)	39.0	14.2	17.9
เฉลี่ย 14 เบนช์มาร์ก	46.5	—	—

ช่องว่าง GSM8K จาก 1.8 ไป 36.2 ไม่ใช่การปรับปรุงแบบค่อยเป็นค่อยไป — มันคือความต่างระหว่าง “ทำเลขไม่ได้เลย” กับ “ทำเลขระดับประถมได้” และรุ่น S ตัวนี้ใช้พารามิเตอร์ต่อโทเคนใกล้เคียงกับ Gemma 3 270M เท่านั้น โดย Meta อ้างว่าทั้งตระกูล “เท่าหรือดีกว่าโมเดล dense บนอุปกรณ์ชั้นนำ ที่ FLOPs ต่ำกว่า 2–4 เท่า”

เหตุผลที่มันทำงานได้ตรงไปตรงมา: MoE เก็บความรู้ไว้ใน expert ทั้ง 60 ตัว (ซึ่งอยู่ใน flash/DRAM) แต่จ่ายค่าคำนวณเฉพาะ 4 ตัวที่ถูกเลือก บนโทรศัพท์ที่คอขวดคือ compute และแบตเตอรี่ มากกว่าพื้นที่เก็บข้อมูล การแลกแบบนี้คุ้มกว่าที่มันคุ้มบนเซิร์ฟเวอร์เสียอีก

สิ่งที่ต้องอ่านให้ครบก่อนตื่นเต้น

สามข้อ และทั้งสามข้อสำคัญ:

หนึ่ง — นี่คือเช็กพอยต์ base ล้วน ชื่อลงท้ายด้วย -Base ไม่ใช่ความบังเอิญ model card ระบุชัดว่าเป็นโมเดล pre-trained ที่ต้องปรับจูนก่อนใช้งานตามคำสั่ง โหลดมาแล้วคุยไม่ได้ ต้อง SFT เอง

สอง — ใบอนุญาตคือ FAIR Noncommercial Research License ไม่ใช่ Llama license ที่ใช้เชิงพาณิชย์ได้ ไม่ใช่ Apache-2.0 คือ ห้ามใช้เชิงพาณิชย์ ตรง ๆ และ repo เป็นแบบ gated ต้องกดยอมรับเงื่อนไขก่อนดาวน์โหลด ใครวางแผนใส่ในแอปที่ขายจริง — จบตั้งแต่บรรทัดนี้

สาม — เปเปอร์มาก่อนน้ำหนักสามเดือน งานวิจัย MobileMoE: Scaling On-Device Mixture of Experts (arXiv:2605.27358) ส่งเมื่อ 26 พฤษภาคม 2026 โดยทีมของ Meta ที่ทำงานฝั่ง on-device (Zechun Liu, Ernie Chang, Vikas Chandra, Raghuraman Krishnamoorthi และคณะ) สิ่งที่เพิ่งเกิดขึ้นคือการเปิดน้ำหนัก ไม่ใช่การประกาศงานวิจัยใหม่ ณ เวลาที่เขียน ยอดดาวน์โหลดยังอยู่หลักหน่วยและ Meta ยังไม่มีบล็อกประกาศแยก

โครงสร้าง MoE ของมันเป็นแบบกำหนดเอง — ต้องโหลดด้วย trust_remote_code=True ซึ่งแปลว่า llama.cpp / Ollama ยังใช้ไม่ได้ทันทีจนกว่าจะมีคนเขียน converter

มุมมอง AI Curator

MobileMoE เป็นรีลีสที่ค่าของมันอยู่ที่ ทิศทาง มากกว่าตัวโมเดลเอง — และควรอ่านมันแบบนั้น เพราะในสภาพปัจจุบัน (base ล้วน, non-commercial, context 8K, ยังไม่มี GGUF) แทบไม่มีใครเอาไปใช้งานจริงได้ในสัปดาห์นี้

แต่ข้อค้นพบที่มันยืนยันนั้นสำคัญมาก: ที่ระดับ 300M พารามิเตอร์ที่ใช้จริง สถาปัตยกรรมสำคัญกว่าขนาด MMLU 43.7 เทียบกับ 26.7 ไม่ใช่ผลของข้อมูลที่ดีกว่าหรือเทรนนานกว่า — มันคือผลของการเลิกบังคับให้ทุกพารามิเตอร์ทำงานทุกโทเคน ถ้าผลนี้ทำซ้ำได้ในวงกว้าง ตระกูลโมเดล dense ขนาดจิ๋วทั้งหมด (Gemma 3 270M, SmolLM2, Qwen รุ่น 0.5B) กำลังเล่นเกมที่ผิดวิธี

สำหรับบริบทไทยและเอเชียตะวันออกเฉียงใต้ นี่คือแนวทางที่ควรจับตามากที่สุดในบรรดางาน edge AI ทั้งหมด เหตุผลง่าย ๆ: ภูมิภาคนี้เป็น mobile-first ของจริง ไม่ใช่ในเชิงสำนวนการตลาด ผู้ใช้จำนวนมากมีโทรศัพท์เป็นคอมพิวเตอร์เครื่องเดียว อยู่บนเครื่อง Android ระดับกลางที่มี RAM 6-8GB และจ่ายค่าเน็ตเป็นแพ็กเกจรายวัน โมเดลที่กิน 0.68GB แล้วทำเลขได้ ตอบคำถามความรู้ทั่วไปได้ โดยไม่ต้องยิงเน็ตออกไปเลย มีค่ากับผู้ใช้กลุ่มนี้มากกว่าโมเดล frontier ที่เก่งกว่าสิบเท่าแต่ต้องต่อเน็ตและจ่ายรายเดือน

และนี่คือเหตุผลที่ใบอนุญาต non-commercial น่าหงุดหงิดเป็นพิเศษ ผู้ที่ควรได้ประโยชน์จากสถาปัตยกรรมนี้มากที่สุดคือนักพัฒนาแอปในตลาดเกิดใหม่ที่กำลังจะสร้างของขาย — และพวกเขาคือกลุ่มที่ใบอนุญาตนี้กันออกไปพอดี สิ่งที่หวังได้จริงกว่าคือ มีคนทำซ้ำสถาปัตยกรรมนี้ด้วยข้อมูลเปิดแล้วปล่อยใต้ Apache-2.0 เปเปอร์เปิดเผยรายละเอียดมากพอ (60 expert, top-4 sigmoid, shared expert 1 ตัว, สูตรการเทรนสี่ขั้น) ให้กลุ่มอย่าง HuggingFace SmolLM, AI2 หรือ Qwen ทำตามได้ ในอดีตกรณีแบบนี้ใช้เวลาไม่กี่เดือน — และตอนนั้นแหละที่เรื่องนี้จะมีผลกับผู้ใช้จริง

แหล่งข่าว

• facebook/MobileMoE-L-Base — Hugging Face
• facebook/MobileMoE-S-Base — Hugging Face
• MobileMoE: Scaling On-Device Mixture of Experts — arXiv:2605.27358