MOSS-VL — โมเดลภาษา-ภาพโอเพนเวต 11B ที่ "ดูไปพูดไป" ได้จริง ทุบสถิติ open-source บนสตรีมมิ่งวิดีโอ
ทีม OpenMOSS เผยแพร่ MOSS-VL Technical Report ขึ้น arXiv เมื่อวันที่ 15 สิงหาคม 2026 และวันนี้มันคือเปเปอร์ที่มียอดโหวตสูงสุดใน Hugging Face Daily Papers ตัวโมเดลทั้งตระกูลเป็น โอเพนเวตภายใต้ Apache-2.0 และเพิ่งถูกอัปเดตบน Hugging Face เมื่อไม่กี่ชั่วโมงก่อนหน้านี้
สิ่งที่ทำให้ MOSS-VL ต่างจากโมเดลภาษา-ภาพตัวอื่นไม่ใช่คะแนนบน benchmark ภาพนิ่ง แต่คือการที่ทีมออกแบบให้ “การโต้ตอบแบบเรียลไทม์” เป็นความสามารถชั้นหนึ่งตั้งแต่ระดับสถาปัตยกรรม ไม่ใช่ฟีเจอร์ที่แปะเพิ่มทีหลัง โมเดลสามารถรับเฟรมวิดีโอที่ไหลเข้ามาเรื่อย ๆ ในขณะที่ตัวเองกำลังสร้างข้อความตอบอยู่ และตัดสินใจได้เองว่าตอนนี้ควรพูด ควรเงียบ หรือควรแก้คำตอบที่เพิ่งพูดไป
”มองเห็นขณะกำลังพูด” ทำได้อย่างไร
หัวใจอยู่ที่การที่ตัวถอดรหัสภาษา (language decoder) ไม่รับโทเค็นภาพเข้ามาในลำดับที่ถอดรหัส แต่มองเห็นภาพผ่าน gated cross-attention เท่านั้น ผลที่ตามมามีสองข้อ
หนึ่ง — เฟรมใหม่ที่เข้ามาระหว่างการ generate ไม่ไปรบกวนลำดับโทเค็นที่กำลังถอดรหัสอยู่ โมเดลจึงพูดไปมองไปได้จริง สอง — เมื่อ visual context ยาวขึ้น ต้นทุนไม่บวมเข้าไปในลำดับข้อความ ทีมรายงานว่าความได้เปรียบด้าน time-to-first-token เทียบกับ Qwen3-VL-8B ที่ใช้ backbone เดียวกัน ขยายจาก 2.8 เท่าเป็น 5.1 เท่า เมื่อบริบทภาพยาวขึ้น ซึ่งเป็นตัวเลขที่มีความหมายมากสำหรับงานสตรีม
องค์ประกอบอื่นที่ทีมระบุไว้: การใส่ timestamp แบบสัมบูรณ์ผ่าน special token, XRoPE ที่แมปโทเค็นข้อความและ visual patch ลงในระบบพิกัดสามมิติเดียวกัน (เวลา-สูง-กว้าง), คอร์ปัสสังเคราะห์ที่สอนโดยเฉพาะว่า เมื่อไหร่ควรพูด เมื่อไหร่ควรเงียบ เมื่อไหร่ควรแก้คำพูด และหลักสูตรฝึกแบบขั้นบันไดที่ยัดการฝึกเฉพาะทางเรียลไทม์ไว้ใน ขั้นสุดท้ายขั้นเดียว บนฐานออฟไลน์ที่แข็งอยู่แล้ว — เท่ากับว่าถ้าใครอยากทำซ้ำ ไม่ต้องรื้อ pre-training ทั้งกระบวนการ
ตัวเลขและของที่ดาวน์โหลดได้จริง
ตระกูลนี้มีสามตัวหลัก ทุกตัว 11.3B พารามิเตอร์ บริบท 256K โทเค็น Apache-2.0:
- MOSS-VL-Realtime — สำหรับสตรีมวิดีโอต่อเนื่อง สั่ง
<|silence|>แล้วดูต่อได้เมื่อยังไม่มีอะไรเปลี่ยน - MOSS-VL-Instruct-0708 — งานออฟไลน์ทั่วไป
- MOSS-VL-Base-0708 — สำหรับเอาไป pre-train ต่อหรือ fine-tune
ผลที่ทีมรายงาน: ฝั่งออฟไลน์ MOSS-VL-Instruct แข่งขันได้ในระดับขนาดเดียวกันและนำในชุดทดสอบด้าน temporal reasoning ส่วนฝั่งสตรีมมิ่ง MOSS-VL-Realtime ทำค่าเฉลี่ยดีที่สุดใน 3 จาก 4 benchmark เมื่อเทียบกับโมเดลสตรีมมิ่งโอเพนซอร์สด้วยกัน (อันดับสองในอีกหนึ่ง) และกวาดทั้งสามชุดย่อยที่วัด พฤติกรรมเชิงรุก โดยตรง ตัวเลขที่ห่างที่สุดคือ OmniMMI Proactive Alerting ที่ 66.0 เทียบกับ 37.5 ของ baseline ที่ดีที่สุด
ในทางปฏิบัติที่สำคัญกว่านั้น — เมื่อ 11 ส.ค. ทีมปล่อยเช็คพอยต์ FP8 และ NF4 ของทั้ง Realtime และ Instruct ทำให้รันได้บน GPU 24GB ตัวเดียว และเมื่อ 14 ส.ค. มีการผสาน LlamaFactory เข้ามาสำหรับสาย fine-tune ตัวโมเดลโหลดผ่าน transformers ด้วย trust_remote_code=True มี API แบบเซสชัน (create_realtime_session) และแบบคิว ค่าเริ่มต้นคือ 1.0 fps สูงสุด 256 เฟรม และ หนึ่งเซสชันเรียลไทม์ต่อหนึ่งอินสแตนซ์โมเดล
ข้อควรรู้อย่างตรงไปตรงมา: ตัวเลขทั้งหมดข้างต้นเป็นตัวเลขที่ทีมผู้พัฒนารายงานเอง ณ เวลาที่เขียนยังไม่มีการยืนยันอิสระจาก LMArena หรือ Artificial Analysis และคำว่า “SOTA” ในที่นี้จำกัดอยู่ที่ กลุ่มโมเดลสตรีมมิ่งโอเพนซอร์สด้วยกัน ไม่ใช่เทียบกับโมเดลปิดระดับแนวหน้า
มุมมอง AI Curator
ปีนี้เราเห็นโมเดลภาษา-ภาพเปิดออกมาแทบทุกสัปดาห์ แต่เกือบทั้งหมดแก้โจทย์เดียวกัน คือ “ดูวิดีโอที่อัดเสร็จแล้วตอบคำถาม” ซึ่งเป็นโจทย์ที่ตลาดมีของดีเยอะแล้ว โจทย์ที่ MOSS-VL เลือกจับต่างออกไปและยากกว่ามาก — การรับรู้ที่ไม่หยุดรอ โมเดลต้องตัดสินใจเองว่าเมื่อไหร่ควรเปิดปาก ซึ่งเป็นความสามารถที่วัดยาก ขายยาก แต่เป็นสิ่งที่แยก “ผู้ช่วยที่ดูกล้องอยู่” ออกจาก “แชตบอตที่ต้องกดถามทีละครั้ง”
จุดที่ผมคิดว่าสำคัญที่สุดสำหรับทีมไทยคือ การประกอบกันของสามอย่าง: Apache-2.0 + 11.3B + เช็คพอยต์ NF4 ที่ลง GPU 24GB งานประเภทที่ภูมิภาคนี้มีเยอะมาก — ตรวจสอบไลน์ผลิตในโรงงาน, เฝ้ากล้อง CCTV ในร้านค้า, ระบบช่วยเหลือด้านความปลอดภัยในไซต์ก่อสร้าง, ไลฟ์ขายของ — เป็นงานที่ถ้าใช้ API ปิดจะต้องอัปโหลดวิดีโอขึ้นคลาวด์ตลอดเวลา ซึ่งแพงที่แบนด์วิดท์ ติดที่ PDPA และแทบเป็นไปไม่ได้เลยถ้าลูกค้าเป็นโรงพยาบาลหรือหน่วยงานรัฐ โมเดลขนาดที่รันในตู้ที่ไซต์งานได้จริงจึงไม่ใช่แค่ “ถูกกว่า” แต่คือ ทำให้โครงการที่เดิมทำไม่ได้ กลายเป็นทำได้
ข้อควรระวังที่ไม่ควรมองข้าม: ข้อจำกัด หนึ่งเซสชันเรียลไทม์ต่อหนึ่งอินสแตนซ์ แปลว่าถ้าจะดูสิบกล้องพร้อมกัน คุณกำลังพูดถึงสิบอินสแตนซ์ ไม่ใช่การ batch แบบที่วิศวกรคุ้นเคยจากงาน LLM ทั่วไป ใครกำลังคิดต้นทุนควรคิดจากแกนนี้ก่อนแกนอื่น และเช่นเดียวกับโมเดลสถาปัตยกรรมแปลกใหม่ทุกตัว คำถามที่ชี้ขาดการใช้งานจริงคือระบบนิเวศจะตามมาเมื่อไหร่ — cross-attention ที่มี gate และ XRoPE ไม่ใช่ท่ามาตรฐาน อย่าเพิ่งคาดหวังว่า vLLM หรือ llama.cpp จะรองรับในเร็ววัน วันนี้ทางที่มีคือ transformers เท่านั้น
คำแนะนำเชิงปฏิบัติ: ถ้าทีมคุณมีโจทย์วิดีโอสตรีม ให้ทดสอบด้วย NF4 บนการ์ด 24GB หนึ่งใบก่อน แล้ววัดสองอย่างที่เปเปอร์อ้างว่าชนะ คือ time-to-first-token เมื่อบริบทภาพยาวขึ้น และอัตราการแจ้งเตือนเชิงรุกที่ถูกต้อง อย่าวัดด้วย benchmark ถาม-ตอบวิดีโอทั่วไป เพราะนั่นไม่ใช่สนามที่โมเดลนี้ถูกออกแบบมาให้ชนะ
แหล่งข่าว
อ่านเพิ่มในหมวด โมเดลใหม่
Google เปิดตัว Gemini 4 Carbon ขึ้นอันดับ 1 Artificial Analysis v5 ด้วยคะแนน 59 แต่ยังให้ใช้แค่นักป้องกันไซเบอร์กลุ่มเล็ก
Gemini 4 Carbon เปิดตัว 28 ต.ค. แซง Claude Opus 5.5 บน Intelligence Index v5 แค่ 1 คะแนน และตามหลังเพียง 3 คะแนนในดัชนี coding agent ราคาเปิดตัว $2/$10 แต่นักพัฒนาทั่วไปยังเรียกใช้ไม่ได้ ระหว่างที่ Google ค่อย ๆ เปิดผ่านโปรแกรม Fairwind
Microsoft ปล่อย Mage-VL-Cowork โมเดล 4B คุมเดสก์ท็อปและเทอร์มินัลในตัวเดียว ได้ 66% บน OSWorld-Verified สัญญาอนุญาต Apache-2.0
Mage-VL-Cowork ขนาด 4B ของ Microsoft เลือกเองว่าจะคลิกหน้าจอหรือสั่ง bash ทำคะแนน OSWorld-Verified 66.0% ใกล้ค่าอ้างอิงมนุษย์ 72.4% ในตารางเดียวกัน แต่คำว่าดีที่สุดในขนาด 4B มีคู่เทียบบนตารางนี้แค่รุ่นเดียว
Mistral ปล่อยน้ำหนัก Large 4 จริงแล้ว — 1T ราคาลดเกือบครึ่ง แต่บน AA ได้ 26 และสัญญาอนุญาตห้ามขายเป็น API ถ้าไม่มีใบอนุญาตแยก
Mistral ปล่อยน้ำหนัก Large 4 (Le Chonk) เมื่อ 29 ต.ค. เป็นรุ่นที่ฝึก RL ต่ออีกสามสัปดาห์หลัง preview ขนาด 1T ใช้พื้นที่ราว 1.06TB ราคา API ลดเหลือ $0.70/$2.10 Mistral นำ open-weight ด้าน coding แต่คะแนนรวม AA 26 ตามหลังโมเดลจีน และสัญญาอนุญาตกันธุรกิจ Model-as-a-Service