Artificial Analysis เปิดกระดานวัดโมเดลบนมือถือจริง ร่วมกับ Liquid AI — LFM2.5-2.6B ได้คะแนนเท่า Nanbeige4.2-3B ที่ 63 แต่เร็วกว่า 2.7 เท่าและกินแรม 2.3 GB

Artificial Analysis เปิดหมวดใหม่ในกระดานเบนช์มาร์กของตัวเองเมื่อ 24 ส.ค. 2026 ชื่อ “Intelligence at pocket scale” — วัดโมเดลที่ รันบนโทรศัพท์ได้จริง โดยทำร่วมกับ Liquid AI ที่ดูแลฝั่งการวัดประสิทธิภาพบนเครื่องจริง (เรื่องนี้กลับขึ้นหน้าแรก Hacker News อีกครั้งเมื่อ 30 ส.ค. เราจึงตามเก็บ)

จุดที่ทำให้มันต่างจากตารางเบนช์มาร์กทั่วไปคือ มันวัดของชิ้นเดียวกัน: บิลด์ที่ใช้วัดความฉลาดกับบิลด์ที่ใช้วัดความเร็ว เป็นบิลด์เดียวกัน ควอนไทซ์ที่ 4-bit หรือต่ำกว่า ผ่าน llama.cpp ซึ่งคือความละเอียดที่คนรันโมเดลบนมือถือใช้จริง ไม่ใช่การเอาคะแนน FP16 จากการ์ดจอมาแปะข้างเวลาที่วัดจากบิลด์ควอนไทซ์

กติกาการวัด

เกณฑ์คัดเข้า: ทุกโมเดลที่ใส่ลงหน่วยความจำ 8 GB ได้หลังควอนไทซ์ รวม KV cache ที่บริบท 8K — เป็นเส้นที่สะท้อนความจริงว่ามือถือไม่ได้มีแรมทั้งเครื่องให้โมเดลใช้คนเดียว

ฝั่งความฉลาดใช้ ห้าเบนช์มาร์ก ที่เลือกมาให้ตรงกับงานที่คนใช้โมเดลเล็กจริง ๆ:

• BFCL (ชุดย่อย 640 งาน) — การเรียก tool / function
• IFBench — การทำตามคำสั่งที่มีข้อบังคับรูปแบบเอาต์พุตชัดเจน
• AA-Omniscience — ความแม่นของความรู้และการทนต่อการหลอนคำตอบ
• GPQA Diamond — เหตุผลเชิงวิทยาศาสตร์ระดับบัณฑิตศึกษา
• MATH-500 — คณิตศาสตร์แข่งขัน ตรวจคำตอบเชิงสัญลักษณ์

ฝั่งเครื่องวัดบน iPhone 17 Pro (12 GB) และ Galaxy S26 Ultra (12 GB) ในห้องที่ควบคุมอุณหภูมิ ด้วยเครื่องมือชื่อ Pipette ที่ Liquid AI พัฒนาและเปิดซอร์ส ตัวชี้วัดหลักคือ End-to-End Generation Time — วินาทีที่ใช้ประมวลผลพรอมป์ต์ 1,024 โทเคนแล้วสร้างคำตอบ 256 โทเคน คู่กับ พีคการใช้หน่วยความจำ

ตัวเลขที่บอกว่าคะแนนอย่างเดียวไม่พอ

ผลบน iPhone 17 Pro ที่เพดานบริบท 16K (คะแนนเฉลี่ยห้าเบนช์มาร์ก):

โมเดล	คะแนน	เวลา end-to-end	พีคแรม
Nanbeige4.2-3B	63	21.4 วิ	4.0 GB
LFM2.5-2.6B	63	8.0 วิ	2.3 GB
Ornith-1.0-9B	62	25+ วิ	6.9 GB
Qwen3.5 9B (Reasoning)	61	—	—

สองตัวบนสุด คะแนนเท่ากันที่ 63 แต่ LFM2.5-2.6B เร็วกว่าราว 2.7 เท่า และกินแรมน้อยกว่าเกือบครึ่ง ถ้าดูแต่คอลัมน์คะแนน สองตัวนี้คือของอย่างเดียวกัน ซึ่งบนมือถือมันไม่ใช่เลย นี่คือเหตุผลที่กระดานนี้มีอยู่ — Artificial Analysis ระบุว่ามี หกโมเดลที่ยังไม่ถูกโค่นบนเส้น Pareto ระหว่างความเร็วกับความฉลาด

รายละเอียดอีกสองข้อที่มีค่ากับคนเลือกโมเดล:

• ไม่มีโมเดลไหนเก่งทุกด้าน และจุดแข็งมัก ตรงข้ามกัน — LFM2.5-2.6B เด่นเรื่องทำตามคำสั่งและการยอมบอกว่าไม่รู้แทนที่จะหลอน ส่วน Qwen3.5 9B เด่นกว่าเรื่องเรียก tool และเหตุผลเชิงวิทยาศาสตร์
• เพดานบริบทเปลี่ยนอันดับ การขยับจาก 16K เป็น 64K สลับอันดับใหม่อย่างมีนัยสำคัญ แต่ในทางปฏิบัติบนมือถือมันแลกมาด้วยแบตเตอรี่จนแทบใช้ไม่ได้

มุมมอง AI Curator

หมวดเบนช์มาร์กนี้มาถูกเวลาสำหรับตลาดอย่างไทย เพราะโจทย์ “รันโมเดลบนเครื่องผู้ใช้” ที่นี่ไม่ได้เกิดจากความอยากเล่นของ แต่เกิดจากข้อจำกัดจริง — ค่า API ต่อผู้ใช้ที่ไม่คุ้มกับ ARPU ของแอปไทย, ข้อกำหนด PDPA ที่ทำให้ข้อมูลบางประเภทไม่ควรออกนอกเครื่อง, และผู้ใช้จำนวนมากที่อยู่บนเน็ตที่ไม่นิ่ง สิ่งที่ทีมไทยขาดมาตลอดคือ ตัวเลขที่เทียบกันได้ ระหว่าง “ฉลาดแค่ไหน” กับ “กินเครื่องแค่ไหน” บนบิลด์เดียวกัน — และนี่คือครั้งแรกที่มีตารางแบบนั้นแบบเปิด

แต่มีสามข้อที่อยากให้อ่านกระดานนี้อย่างระวัง

หนึ่ง — ไม่มีเบนช์มาร์กภาษาไทยเลย ทั้งห้าตัวเป็นภาษาอังกฤษล้วน โมเดล 2-3B ที่ควอนไทซ์ 4-bit คือช่วงที่ความสามารถภาษาไทยพังเป็นอันดับแรก ๆ (ทั้งการตัดคำและการสะกด) คะแนน 63 บน GPQA/IFBench ภาษาอังกฤษ ไม่รับประกันอะไรเลย กับงานภาษาไทย ทีมที่จะเลือกโมเดลลงแอปควรถือกระดานนี้เป็นตัวคัดรอบแรก แล้ววัดภาษาไทยเองรอบสอง — ที่นี่ยังเป็นช่องว่างที่ SCB10X, VISTEC หรือ OpenThaiGPT เข้ามาเติมได้ ถ้าปล่อยชุดวัดโมเดลเล็กภาษาไทยที่เทียบกันได้แบบนี้

สอง — เครื่องที่ใช้วัดคือเรือธงปีล่าสุดสองรุ่น iPhone 17 Pro และ Galaxy S26 Ultra แรม 12 GB ทั้งคู่ ผู้ใช้แอปไทยส่วนใหญ่ไม่ได้อยู่บนเครื่องแบบนั้น ตัวเลข 8 วินาทีของ LFM2.5-2.6B บนเรือธงคือขอบบนของสิ่งที่จะเจอในสนามจริง เกณฑ์ “ใส่ใน 8 GB ได้” ก็ยังกว้างเกินสำหรับเครื่องกลางตลาด — ในทางปฏิบัติควรมองที่แถวแรมต่ำอย่าง 2.3 GB มากกว่าแถวคะแนนสูงสุด

สาม — คนวัดฝั่งเครื่องคือ Liquid AI ซึ่งมีโมเดลของตัวเองอยู่บนกระดาน (LFM2.5-2.6B คือโมเดลของ Liquid AI และมันครองอันดับหนึ่งร่วมพร้อมตัวเลขความเร็วที่ดีที่สุด) Artificial Analysis ระบุว่าตรวจสอบกระบวนการวัดของ Liquid AI อย่างเป็นอิสระ ซึ่งเป็นการเปิดเผยที่ควรทำและเขาก็ทำ — แต่โครงสร้างนี้เป็นแบบเดียวกับที่เราเพิ่งเขียนถึงในกรณี PhoneBench ของ Pipecat เมื่อวานคือ คนออกข้อสอบมีของอยู่ในห้องสอบ ไม่ได้แปลว่าตัวเลขผิด แต่แปลว่าควรรอให้มีคนนอกรันซ้ำก่อนจะยึดเป็นข้อสรุป และตอนนี้ Pipette เปิดซอร์สแล้ว การรันซ้ำจึงเป็นสิ่งที่ทีมไทยทำเองได้ ไม่ต้องรอใคร

แหล่งข่าว

• Intelligence at pocket scale: Benchmarking small models and mobile phones — Artificial Analysis (24 ส.ค. 2026)
• Consumer Inference Systems — กระดานผลบนมือถือ
• Benchmarking Pocket-Scale Inference — การถกเถียงบน Hacker News (โพสต์ 27 ส.ค., ขึ้นหน้าแรก 30 ส.ค. 2026)