แท็ก

#multimodal

19 บทความ

Gemini เปลี่ยนวิธีอ่านวิดีโอ — จากไล่ดูทีละเฟรมเป็นให้โมเดลเลือกเองว่าจะดูตรงไหน ลดโทเคน 88% แต่ค่าใช้จ่ายลดแค่ 66%
เครื่องมือนักพัฒนา

Gemini เปลี่ยนวิธีอ่านวิดีโอ — จากไล่ดูทีละเฟรมเป็นให้โมเดลเลือกเองว่าจะดูตรงไหน ลดโทเคน 88% แต่ค่าใช้จ่ายลดแค่ 66%

1 ก.ย. 2026 Google เปิด agentic video understanding บน Gemini 3.7 Flash, 3.6 Flash และ 3.5 Flash-Lite — เปลี่ยนคอนฟิกเดียวเป็น processing: agentic แล้วโมเดลจะไล่ไทม์ไลน์เอง ขอเฉพาะเฟรม เสียง หรือทรานสคริปต์ช่วงที่ต้องการ อ้างว่าใช้โทเคนน้อยลงถึง 88% ถูกลงถึง 66% และแม่นขึ้นถึง 7% — ตัวเลขสามตัวที่ไม่เท่ากันนี้เองคือสิ่งที่บอกว่าลูปเอเจนต์กินอะไรไปบ้าง

· อ่าน 6 นาที
DeepSeek ปล่อยน้ำหนัก V4-Flash-Vision-Exp ขึ้น Hugging Face แล้วภายใต้ MIT — 10 วันหลังเปิดเป็น API-only และไม่มีประกาศใด ๆ
โมเดลใหม่

DeepSeek ปล่อยน้ำหนัก V4-Flash-Vision-Exp ขึ้น Hugging Face แล้วภายใต้ MIT — 10 วันหลังเปิดเป็น API-only และไม่มีประกาศใด ๆ

31 ส.ค. 2026 repo deepseek-ai/DeepSeek-V4-Flash-Vision-Exp ถูกสร้างขึ้นบน Hugging Face พร้อมน้ำหนักจริงใต้ MIT License แบบไม่มีเงื่อนไขเพิ่ม — 305B พารามิเตอร์ ดาวน์โหลดราว 168 GB, 256 expert เลือกใช้ 6 ตัวต่อโทเคน, คอนเท็กซ์ 1M และ model card เปิดเลขที่ Change Log เดิมไม่เคยบอก

· อ่าน 6 นาที
LAION ปล่อยชุดข้อมูลวิดีโอเปิด 10 ล้านชั่วโมง — BVD ที่กลั่นจาก URL 1.3 พันล้าน แต่ติดป้าย "วิจัยเท่านั้น" และภาระทางกฎหมายตกที่คนดาวน์โหลด
งานวิจัย

LAION ปล่อยชุดข้อมูลวิดีโอเปิด 10 ล้านชั่วโมง — BVD ที่กลั่นจาก URL 1.3 พันล้าน แต่ติดป้าย "วิจัยเท่านั้น" และภาระทางกฎหมายตกที่คนดาวน์โหลด

LAION เปิด LAION-BVD ชุดข้อมูลวิดีโอเปิดขนาด 10 ล้านชั่วโมง กลั่นจาก URL 1.3 พันล้านรายการบน CommonCrawl เหลือวิดีโอที่โหลดได้จริง 80 ล้านไฟล์ พร้อมคลิปติดแคปชัน 55 ล้านคลิปและเฟรม 300 ล้านภาพ เปเปอร์ขึ้น arXiv 25 ส.ค. โมเดล ViCLIP ที่เทรนบนชุดนี้ชนะ InternVid สูงสุด 2.1 จุด — แต่ใบอนุญาตเป็น research-only และตัวไฟล์วิดีโอต้องขอสิทธิ์เข้าถึง

· อ่าน 7 นาที
Z.ai ปล่อย GLM-5.3-Flash เป็น open weights ใต้ MIT — MoE 320B ที่ใช้จริงแค่ 18B, multimodal ในตัว, บริบท 1M และทำ GDPVal-AA v2 นำทุกเจ้าในตาราง
โมเดลใหม่

Z.ai ปล่อย GLM-5.3-Flash เป็น open weights ใต้ MIT — MoE 320B ที่ใช้จริงแค่ 18B, multimodal ในตัว, บริบท 1M และทำ GDPVal-AA v2 นำทุกเจ้าในตาราง

26 ส.ค. 2026 Z.ai ปล่อย GLM-5.3-Flash พร้อมน้ำหนักเต็มบน Hugging Face ใต้ MIT — MoE 320B ที่กระตุ้นแค่ 18B ต่อโทเคน, เป็นตัวแรกในตระกูล GLM-5 ที่ multimodal โดยกำเนิด, ใช้สถาปัตยกรรมผสม linear + sparse attention รองรับบริบท 1 ล้านโทเคน และทำ GDPVal-AA v2 ได้ 1773 นำทั้ง Claude Opus 4.8, GPT-5.6 Terra และ Gemini 3.7 Flash ในตารางของ Z.ai เอง

· อ่าน 8 นาที
Qwen3.8-Flash-Next เปิดน้ำหนัก — 125B ที่กระตุ้นแค่ 6B บวก "พจนานุกรมวลี" 51B ที่ย้ายไปนั่งบน RAM ได้ เทรนถูกกว่ารุ่นพี่ 9 เท่า และเป็นตัวอย่างสถาปัตยกรรมของ Qwen4
โมเดลใหม่

Qwen3.8-Flash-Next เปิดน้ำหนัก — 125B ที่กระตุ้นแค่ 6B บวก "พจนานุกรมวลี" 51B ที่ย้ายไปนั่งบน RAM ได้ เทรนถูกกว่ารุ่นพี่ 9 เท่า และเป็นตัวอย่างสถาปัตยกรรมของ Qwen4

26 ส.ค. 2026 Qwen ปล่อย Qwen3.8-Flash-Next พร้อมน้ำหนักบน Hugging Face — MoE 125B ที่กระตุ้นแค่ 6B ต่อโทเคน บวกชั้น n-gram embedding 51B ที่ย้ายไปเก็บบน RAM ระบบได้ ใช้ Gated DeltaNet คู่กับ Qwen Sparse Attention ระดับ micro-block เทรนถูกกว่า Qwen3.7-Plus ราว 9 เท่า และ Qwen ประกาศตรง ๆ ว่านี่คือ preview ของสถาปัตยกรรมที่จะเป็น Qwen4

· อ่าน 8 นาที
Tencent ปล่อย WeMM-Embedding ใต้ Apache-2.0 — โมเดล embedding มัลติโมดัลที่รุ่น 2B แซงคู่แข่ง 8B และรุ่น 9B ขึ้น SOTA MMEB-v2 ที่ 80.6
โมเดลใหม่

Tencent ปล่อย WeMM-Embedding ใต้ Apache-2.0 — โมเดล embedding มัลติโมดัลที่รุ่น 2B แซงคู่แข่ง 8B และรุ่น 9B ขึ้น SOTA MMEB-v2 ที่ 80.6

25-26 ส.ค. 2026 ทีม WeChat ของ Tencent ปล่อย WeMM-Embedding สามขนาด 2B/4B/9B ใต้ Apache-2.0 — โมเดล embedding ตัวเดียวที่รับข้อความ ภาพ วิดีโอ และเอกสารสแกนสลับกันได้ โดยรุ่น 9B ทำ MMEB-v2 ได้ 80.6 ขึ้นเป็น SOTA และรุ่น 2B ทำ 77.9 แซงโมเดลโอเพนซอร์ส 8B ที่นำอยู่เดิม

· อ่าน 6 นาที
DeepSeek ปล่อย V4-Flash-Vision-Exp — โมเดล agent ที่ "มองเห็น" ทำ Terminal Bench 2.1 ได้ 83.9 และเข้าใกล้ Opus 4.8 ในงานที่ต้องดูภาพ
โมเดลใหม่

DeepSeek ปล่อย V4-Flash-Vision-Exp — โมเดล agent ที่ "มองเห็น" ทำ Terminal Bench 2.1 ได้ 83.9 และเข้าใกล้ Opus 4.8 ในงานที่ต้องดูภาพ

21 ส.ค. 2026 DeepSeek เปิดตัว DeepSeek-V4-Flash-Vision-Exp โมเดลทดลองที่รับภาพเข้าไปได้ ความสามารถด้านข้อความเท่ากับ V4-Flash เดิมเป๊ะ แต่ในงาน agent ที่ต้องอาศัยการมองเห็นกระโดดขึ้นจนใกล้ Opus 4.8 — Terminal Bench 2.1 83.9, Chartography 64.3, ZeroBench (Pass@5) 35.0 ยังเป็น API-only ไม่มี open weights

· อ่าน 6 นาที
PerceptionBench จาก Moonshot AI — แยก 'การมองเห็น' ออกจาก 'การคิด' แล้วพบว่าไม่มีโมเดลไหนผ่าน 60%
งานวิจัย

PerceptionBench จาก Moonshot AI — แยก 'การมองเห็น' ออกจาก 'การคิด' แล้วพบว่าไม่มีโมเดลไหนผ่าน 60%

Moonshot AI เปิด benchmark ใหม่ 3,000 ข้อที่วัดการรับรู้ภาพล้วน ๆ โดยตัดการให้เหตุผลและความรู้ภายนอกออก ผลคือโมเดลชั้นนำ 16 ตัวไม่มีใครแตะ 60% — GPT-5.6 Sol นำที่ 59.7% และหมวดที่แย่ที่สุดคือ hallucination

· อ่าน 4 นาที
Mistral ปล่อย Shieldstral โมเดล 3B เปิดน้ำหนัก Apache 2.0 สำหรับกรองเนื้อหา — จุดขายไม่ใช่ขนาด แต่คือ 'เขียนนโยบายเองตอน inference' ไม่ต้องเทรนใหม่
โมเดลใหม่

Mistral ปล่อย Shieldstral โมเดล 3B เปิดน้ำหนัก Apache 2.0 สำหรับกรองเนื้อหา — จุดขายไม่ใช่ขนาด แต่คือ 'เขียนนโยบายเองตอน inference' ไม่ต้องเทรนใหม่

Mistral เปิดตัว Shieldstral 1.0 (4 ส.ค.) โมเดลจัดประเภทความปลอดภัย 3B แบบ multimodal ใบอนุญาต Apache 2.0 รันได้บน GPU 16GB ใบเดียว — เปลี่ยนงาน moderation เป็นคำถาม yes/no ข้อเดียว ทำให้ผู้ใช้เขียนนโยบายเป็นภาษาคนส่งเข้าไปตอนเรียกใช้ได้เลย และยังชนะโมเดล guardrail ที่ใหญ่กว่าเกือบ 7 เท่า

· อ่าน 7 นาที
Black Forest Labs เปิดตัว FLUX 3 — โมเดลมัลติโมดัลตัวแรกที่สร้างวิดีโอ 20 วินาทีพร้อมเสียงในตัว
ผลิตภัณฑ์

Black Forest Labs เปิดตัว FLUX 3 — โมเดลมัลติโมดัลตัวแรกที่สร้างวิดีโอ 20 วินาทีพร้อมเสียงในตัว

Black Forest Labs ปล่อย FLUX 3 โมเดลมัลติโมดัลตัวแรกของค่ายที่เรียนรู้ภาพ วิดีโอ และเสียงพร้อมกันในตัวแทนเดียว สร้างวิดีโอยาวได้ถึง 20 วินาทีพร้อมเสียงเนทีฟ เปิดให้ลองแบบ Early Access ก่อน ส่วนน้ำหนักโมเดลเปิด 'FLUX 3 Dev' จะตามมาทีหลัง

· อ่าน 4 นาที
Thinking Machines เปิดตัว Inkling โมเดลเปิดตัวแรก — MoE 975B มัลติโมดัล เทรนให้ "กว้าง" ไม่ใช่เก่งด้านเดียว ปล่อยน้ำหนักฟรีใต้ Apache 2.0
โมเดลใหม่

Thinking Machines เปิดตัว Inkling โมเดลเปิดตัวแรก — MoE 975B มัลติโมดัล เทรนให้ "กว้าง" ไม่ใช่เก่งด้านเดียว ปล่อยน้ำหนักฟรีใต้ Apache 2.0

Thinking Machines Lab ของ Mira Murati ปล่อยโมเดลแรก Inkling — MoE 975B พารามิเตอร์ (active 41B) มัลติโมดัลข้อความ/ภาพ/เสียง/วิดีโอ คอนเท็กซ์ 1M โทเคน ปรับ "ความคิดหนัก-เบา" ได้ และเปิดน้ำหนักเต็มใต้ Apache 2.0

· อ่าน 7 นาที
ByteDance เปิด Seed 2.1 — โมเดลตระกูลใหม่ที่ออกแบบมาเพื่อ "เอเจนต์" โดยเฉพาะ เน้นงานโค้ดดิ้งครบวงจรและมัลติโมดัล
โมเดลใหม่

ByteDance เปิด Seed 2.1 — โมเดลตระกูลใหม่ที่ออกแบบมาเพื่อ "เอเจนต์" โดยเฉพาะ เน้นงานโค้ดดิ้งครบวงจรและมัลติโมดัล

ByteDance ปล่อย Seed 2.1 และ Seed 2.1 Pro โมเดลรุ่นใหม่ที่ออกแบบมาเพื่องานเอเจนต์โดยเฉพาะ — เน้นความสามารถเอเจนต์ทั่วไป, การส่งมอบโค้ดแบบ end-to-end และความเข้าใจมัลติโมดัล เปิดให้ใช้ผ่าน Doubao และ Volcano Engine แต่ยังเป็นแบบปิดเวต

· อ่าน 5 นาที
Google ปล่อย Gemma 4 12B โมเดล multimodal แบบ encoder-free รุ่นแรก รันได้บนแล็ปท็อป 16GB
โมเดลใหม่

Google ปล่อย Gemma 4 12B โมเดล multimodal แบบ encoder-free รุ่นแรก รันได้บนแล็ปท็อป 16GB

Google เปิดตัว Gemma 4 12B โมเดล multimodal ขนาดกลางตัวแรกของตระกูลที่ใช้สถาปัตยกรรม encoder-free รับภาพ เสียง และวิดีโอเข้า LLM โดยตรง รันได้บนแล็ปท็อป GPU 16GB พร้อมแอป macOS และ local API server แบบ OpenAI-compatible

· อ่าน 4 นาที
MiniMax M3 โมเดลโอเพนเวต 428B (active 23B) — coding ระดับ frontier, context 1M, มัลติโมดอลในตัว
โมเดลใหม่

MiniMax M3 โมเดลโอเพนเวต 428B (active 23B) — coding ระดับ frontier, context 1M, มัลติโมดอลในตัว

MiniMax ปล่อย M3 โมเดลโอเพนเวต MoE 428B (active 23B) ที่รวมงานโค้ดดิ้งระดับ frontier, หน้าต่างบริบท 1 ล้านโทเคน และมัลติโมดอลในตัว ด้วยสถาปัตยกรรม MiniMax Sparse Attention ที่เคลมเร่ง decode 15 เท่าที่ context ยาว

· อ่าน 5 นาที
OpenAI ปล่อย GPT-Realtime-2 — voice model ใหม่ที่ใส่ "GPT-5-class reasoning" เข้าไป, แยกเป็น 3 modalities (reasoning / translate / whisper), context 128K, รองรับ 70 ภาษา แปล realtime, Zillow + Deutsche Telekom + Priceline + Vimeo เริ่ม deploy แล้ว
ผลิตภัณฑ์

OpenAI ปล่อย GPT-Realtime-2 — voice model ใหม่ที่ใส่ "GPT-5-class reasoning" เข้าไป, แยกเป็น 3 modalities (reasoning / translate / whisper), context 128K, รองรับ 70 ภาษา แปล realtime, Zillow + Deutsche Telekom + Priceline + Vimeo เริ่ม deploy แล้ว

7 พ.ค. — OpenAI เปิดตัว **voice model 3 ตัวพร้อมกัน** ใน Realtime API: **GPT-Realtime-2** (reasoning, GPT-5 class), **GPT-Realtime-Translate** (แปล 70 ภาษา), **GPT-Realtime-Whisper** (low-latency STT) — context window จาก 32K → **128K tokens**, รองรับ interruption + parallel tool calls — Big Bench Audio score สูงกว่ารุ่นก่อน 15.2%, Audio MultiChallenge สูงกว่า 13.8% — ราคา GPT-Realtime-2 $32/$64 ต่อ M tokens input/output, Translate $0.034/นาที, Whisper $0.017/นาที — Zillow + Deutsche Telekom + Priceline + Vimeo ขึ้นใช้แล้ว — เป็น direct response ต่อ Microsoft Copilot Studio voice agents (GA เม.ย.) และ xAI Grok Voice Think Fast 1

· อ่าน 5 นาที
Google Developers Blog: Gemini Embedding 2 GA — embedding ตัวแรกของ Gemini ที่รวม text/image/video/audio/PDF อยู่ใน latent space เดียว สำหรับ agentic RAG
โมเดลใหม่

Google Developers Blog: Gemini Embedding 2 GA — embedding ตัวแรกของ Gemini ที่รวม text/image/video/audio/PDF อยู่ใน latent space เดียว สำหรับ agentic RAG

30 เม.ย. — Google Developers Blog เปิด Gemini Embedding 2 เป็น GA ผ่าน Gemini API + Gemini Enterprise Agent Platform — natively multimodal embedding ตัวแรกของ Google รับ text/image/video/audio/PDF ใส่ vector space เดียว รองรับ 100+ ภาษา ใช้ Matryoshka Representation Learning ให้ truncate dim ได้ตามงาน — ลด latency บางลูกค้าได้ถึง 70%

· อ่าน 5 นาที
Google ปล่อย Gemini 3 + Nano Banana 2 + Lyria 3 เข้า Enterprise — ชุดโมเดล multimodal ครบทั้งข้อความ ภาพ เสียง ใน platform เดียว
โมเดลใหม่

Google ปล่อย Gemini 3 + Nano Banana 2 + Lyria 3 เข้า Enterprise — ชุดโมเดล multimodal ครบทั้งข้อความ ภาพ เสียง ใน platform เดียว

Cloud Next 2026 — Google เปิด Gemini 3 Pro + Gemini 3.1 Flash Image (Nano Banana 2) + Lyria 3 สำหรับ enterprise ทั้งหมดเข้าถึงผ่าน Gemini Enterprise Agent Platform พร้อม 1M token context

· อ่าน 5 นาที
Meta เปิดตัว Muse Spark โมเดลแรกจาก Superintelligence Labs หลังทุ่ม 14 พันล้านดึง Alexandr Wang
โมเดลใหม่

Meta เปิดตัว Muse Spark โมเดลแรกจาก Superintelligence Labs หลังทุ่ม 14 พันล้านดึง Alexandr Wang

Meta Superintelligence Labs เปิดตัว Muse Spark โมเดล multimodal reasoning ตัวแรก หลัง Zuckerberg ทุ่ม 14.3 พันล้านดึง Alexandr Wang มารื้อสาย AI ใหม่ทั้งหมด

· อ่าน 5 นาที
Mistral Small 4 รวมเหตุผล-วิชัน-โค้ดดิ้งไว้ในชุดน้ำหนักเดียว Apache 2.0 — active 6B พร้อมปุ่มปรับความคิด
โมเดลใหม่

Mistral Small 4 รวมเหตุผล-วิชัน-โค้ดดิ้งไว้ในชุดน้ำหนักเดียว Apache 2.0 — active 6B พร้อมปุ่มปรับความคิด

Mistral AI ปล่อย Mistral Small 4 โมเดล MoE 119B (active 6B) ภายใต้ Apache 2.0 ที่รวมความสามารถด้านเหตุผล (Magistral) วิชัน (Pixtral) และโค้ดดิ้ง (Devstral) ไว้ในชุดน้ำหนักเดียว พร้อมปุ่มปรับ reasoning effort และ context 256K

· อ่าน 5 นาที