PerceptionBench จาก Moonshot AI — แยก 'การมองเห็น' ออกจาก 'การคิด' แล้วพบว่าไม่มีโมเดลไหนผ่าน 60%

ตัวเลข benchmark ด้าน vision ของโมเดลยุคนี้ดูดีขึ้นทุกไตรมาส แต่คำถามที่ยังไม่มีใครตอบตรง ๆ คือ คะแนนที่ดีขึ้นมาจาก “ตาที่มองเห็นแม่นขึ้น” หรือมาจาก “สมองที่เดาเก่งขึ้น” — สัปดาห์นี้ Moonshot AI (ทีมผู้สร้าง Kimi) เปิดตัว PerceptionBench ที่ออกแบบมาเพื่อตอบคำถามนี้โดยเฉพาะ: วัดการรับรู้ภาพแบบอะตอมมิก โดยตัดการให้เหตุผลเชิงตรรกะและความรู้จากภายนอกออกให้มากที่สุด

ผลลัพธ์ไม่สวย ในบรรดาโมเดล 16 ตัวที่ทดสอบ ไม่มีตัวไหนทำได้ถึง 60%

วัดอะไร และวัดอย่างไร

ชุดทดสอบมี 3,000 ข้อที่ผ่านการตรวจสอบแล้ว คัดจากคลังภายในกว่า 17,000 ตัวอย่าง — 1,800 ข้อถอดมาจากเคสที่โมเดลตอบพลาดใน benchmark เดิม ๆ และอีก 1,200 ข้อเขียนขึ้นใหม่ แบ่งเป็น 10 ทักษะย่อย: ความสัมพันธ์เชิงภาพ, การนับ, คุณลักษณะ (attribute), ความลึก/3D, การระบุตำแหน่ง, การเปรียบเทียบ, การจำแนกละเอียด (fine-grained), การเชื่อมโยงบริบท, OCR และ hallucination

โจทย์ทุกข้อถูกออกแบบให้ตอบได้จากการ “ดูภาพ” อย่างเดียว — ถ้าโมเดลตอบผิด แปลว่ามันมองไม่เห็นจริง ไม่ใช่คิดไม่ออก

ผลคะแนน

โมเดล	ความแม่นยำรวม
GPT-5.6 Sol	59.7%
Kimi K3	58.5%
Claude Fable 5	57.2%
Gemini 3.1 Pro	56.2%
GPT-5.5	55.8%
Qwen3.5-397B-A17B	47.5%
GLM-4.6V	32.5%

ที่น่าสังเกต: ช่องว่างระหว่างโมเดล frontier ด้วยกันแคบมาก (55–60%) แต่หมวดที่ทุกตัวทำได้แย่ที่สุดตรงกันคือ perception-related hallucination — การ “เห็น” สิ่งที่ไม่มีอยู่ในภาพ ซึ่งเป็นโหมดความผิดพลาดที่อันตรายที่สุดในการใช้งานจริง

ตัว benchmark เปิดเป็น Apache-2.0 พร้อมเปเปอร์บน arXiv ใครจะเอาไปรันกับโมเดลของตัวเองก็ทำได้ทันที และเครดิตที่ควรให้ Moonshot คือ Kimi K3 ของตัวเองก็ไม่ได้ที่หนึ่ง (58.5% ตามหลัง GPT-5.6 Sol) — benchmark ที่ผู้สร้างไม่ชนะเองมักน่าเชื่อถือกว่า benchmark ที่ผู้สร้างได้ที่หนึ่งพอดี

มุมมอง AI Curator

งานนี้ยืนยันสิ่งที่คนทำระบบ document AI รู้สึกมานาน: โมเดลยุคนี้ “ฉลาดกว่าที่มันมองเห็น” — ความสามารถในการให้เหตุผลวิ่งนำการรับรู้ภาพไปหลายช่วงตัว และตัวเลข benchmark แบบรวม ๆ (ที่ยอมให้โมเดลใช้ความรู้กับการเดาเชิงตรรกะช่วย) กลบจุดอ่อนนี้ไว้

สำหรับทีมไทยที่ทำงานกับเอกสารจริง นี่คือคำอธิบายว่าทำไมระบบ OCR ใบกำกับภาษี อ่านตารางจากภาพสแกน หรือเช็คสต็อกจากรูปถ่ายหน้างาน ถึงยัง “พลาดแบบงง ๆ” ทั้งที่โมเดลตอบข้อสอบแพทย์ได้ — งานพวกนั้นคือ counting + fine-grained recognition + OCR ล้วน ๆ ซึ่งเป็นหมวดที่คะแนนต่ำใน PerceptionBench พอดี บทเรียนเชิงปฏิบัติ: อย่าเลือกโมเดลให้งานภาพจากคะแนน MMLU หรือ benchmark รวม ให้หาชุดทดสอบที่วัด perception ตรง ๆ (ตอนนี้มีของเปิดให้ใช้แล้ว) หรือดีที่สุดคือวัดกับเอกสารจริงของตัวเอง

อีกมุมที่น่าคิด: ข้อจำกัดนี้คือเพดานของ agent แบบ computer use ทั้งสาย — agent ที่ “มองหน้าจอแล้วคลิก” จะไว้ใจได้แค่ไหนในเมื่อการรับรู้ภาพพื้นฐานยังไม่ผ่าน 60% ตัวเลขอย่าง OSWorld ที่สูง ๆ อาจสะท้อนว่า UI ของโปรแกรมยอดนิยมถูกจดจำมาแล้ว มากกว่าจะแปลว่าโมเดลมองเห็นหน้าจอแปลกใหม่ได้จริง

แหล่งข่าว

• MoonshotAI/PerceptionBench — โค้ด ชุดข้อมูล และ leaderboard บน GitHub
• รายงานข่าวจาก The Decoder