Liquid AI เปิดซอร์ส Pipette — เบนช์มาร์กที่วัด 'โมเดล + ควอนต์ + รันไทม์ + เครื่อง' เป็นก้อนเดียว เพราะแยกวัดทีละอย่างมันโกหก

ทุกคนที่เคยรันโมเดลบนเครื่องตัวเองรู้ความจริงข้อนี้อยู่แล้ว แต่ไม่มีเบนช์มาร์กไหนยอมรับมัน: ตัวเลข “โมเดลนี้เร็วเท่าไหร่” ไม่มีอยู่จริง โมเดลเดียวกันที่ Q4_K_M บน llama.cpp บน M5 Max กับที่ควอนต์เดียวกันบน Snapdragon ผ่านรันไทม์คนละตัว คือคนละสิ่งกันโดยสิ้นเชิง แต่เรารายงานมันด้วยชื่อโมเดลเดียวกันแล้วเถียงกันบนฟอรัมว่าใครวัดผิด

25 สิงหาคม 2026 Liquid AI เปิดซอร์ส Pipette — แพลตฟอร์มเบนช์มาร์กที่ตั้งอยู่บนสมมติฐานตรงข้าม: หน่วยของการวัดไม่ใช่โมเดล แต่คือ โมเดล + ควอนไทเซชัน + รันไทม์ + อุปกรณ์ ทั้งชุด ปล่อยเป็นสามรีโปใต้ Apache-2.0 พร้อมลีดเดอร์บอร์ดสาธารณะที่ pipette.liquid.ai/leaderboard

โครงสร้าง — สามรีโป และแอปที่รันบนเครื่องจริง

Pipette แยกเป็นสามส่วนที่ชัดเจน ทั้งหมด Apache-2.0:

• pipette-clients (Rust) — ตัวรันวัดจริง ทั้ง CLI บนเครื่องโฮสต์และ แอป iOS แบบ native Swift กับแอป Android ที่คอมไพล์เอนจินเข้าไปในตัว รองรับรันไทม์ llama.cpp, MLX, OpenVINO, vLLM และ SGLang
• pipette-mgmt (Rust/Axum) — เซิร์ฟเวอร์ที่เสิร์ฟแค็ตตาล็อกเบนช์มาร์กแบบมีเวอร์ชัน รับผลการวัดเข้ามา และเขียนลง Parquet
• pipette-scores (Python) — บริการประเมินคุณภาพแบบ stateless ที่ “ไม่รู้จักโมเดล” (model-blind) ทำหน้าที่เสิร์ฟ prompt และให้คะแนนคำตอบ

การแยกแบบนี้มีเหตุผล: ตัววัดความเร็วไม่ควรรู้ว่ากำลังวัดโมเดลของใคร และตัวให้คะแนนคุณภาพไม่ควรรู้ว่าคำตอบมาจากเครื่องอะไร

จุดที่ต้องอ่านให้ละเอียดคือวิธีวัดสี่มิติ Liquid AI ระบุเองว่า “ความเร็วและหน่วยความจำวัดบนเครื่อง ส่วนคุณภาพประเมินบน H100” — นี่เป็นความซื่อสัตย์เชิงวิธีการที่ควรชม เพราะการรันชุดประเมินคุณภาพเต็มรูปแบบบนโทรศัพท์นั้นช้าจนไม่มีใครทำ แต่ก็แปลว่าคะแนนคุณภาพที่เห็นคือคะแนนของ น้ำหนักที่ควอนต์แล้ว ไม่ใช่คะแนนที่รวมผลกระทบของรันไทม์บนอุปกรณ์เข้าไปด้วย

ลีดเดอร์บอร์ดชุดแรกครอบคลุมโมเดล 35+ ตัว — Liquid AI เอง, Mistral, Qwen, Llama, Gemma และอื่น ๆ ส่วนใหญ่เป็น GGUF — วัดบน Galaxy S26 Ultra, MacBook Pro และ iPhone 17 Pro และ Liquid AI ระบุว่า Artificial Analysis ตรวจสอบวิธีการให้อย่างอิสระ

สิ่งที่ลีดเดอร์บอร์ดพยายามทำให้เห็น

มุมมองที่ Pipette เสนอไม่ใช่ตารางอันดับเดียว แต่เป็นชุดคำถามที่คนดีพลอยจริงถาม:

• ความเร็วลดลงแค่ไหนเมื่อ context ยาวขึ้น (ไม่ใช่แค่ตัวเลขที่ context สั้น)
• ต้องใช้หน่วยความจำเท่าไหร่ถึงจะได้ throughput ระดับที่ต้องการ
• Pareto frontier ระหว่างคุณภาพกับความเร็ว — โมเดลไหนที่ไม่มีใครดีกว่าทั้งสองด้านพร้อมกัน
• การจัดอันดับภายในกลุ่มขนาดเดียวกัน

ข้อค้นพบที่สำคัญที่สุดจากการวัดแบบนี้คือสิ่งที่ตารางแบบเดิมมองไม่เห็นเลย: โมเดลสองตัวที่พารามิเตอร์เท่ากัน ควอนต์เดียวกัน บนเครื่องเดียวกัน ยังรักษา throughput ที่ context ยาวได้ต่างกันมาก เพราะโครงสร้าง attention และ KV cache ต่างกัน — ซึ่งเป็นความจริงที่ไม่มีทางปรากฏในเบนช์มาร์กที่รายงานเลขเดียวต่อโมเดล

ณ เวลาที่เขียน ระบบยังอยู่ในช่วง preview: Liquid AI บอกว่ากำลัง “วางแผนเพิ่มการรับผลจากชุมชนเร็ว ๆ นี้” ดังนั้นตอนนี้ยังเป็นข้อมูลที่พวกเขารันเองเป็นหลัก ไม่ใช่ crowdsourced เต็มรูปแบบ

มุมมอง AI Curator

Liquid AI มีผลประโยชน์ทับซ้อนตรงนี้อย่างชัดเจน — พวกเขาขายโมเดล LFM ที่ออกแบบมาเพื่อ edge โดยเฉพาะ และเบนช์มาร์กที่วัด “ความเร็วที่ context ยาวบนอุปกรณ์จริง” ก็บังเอิญเป็นมิติที่สถาปัตยกรรมของพวกเขาได้เปรียบพอดี ผู้อ่านควรถือข้อนี้ไว้ตลอด และมันเป็นเหตุผลที่การให้ Artificial Analysis ตรวจวิธีการ กับการปล่อยโค้ดทั้งหมดใต้ Apache-2.0 มีน้ำหนักจริง — ไม่ใช่เพราะมันลบผลประโยชน์ทับซ้อน แต่เพราะมันทำให้ตรวจสอบได้ ถ้าใครคิดว่าลีดเดอร์บอร์ดลำเอียง ก็ไปรันเองแล้วเถียงด้วยตัวเลข

แต่สิ่งที่ผมคิดว่ามีค่ากว่าลีดเดอร์บอร์ดคือ pipette-clients ต่างหาก การมีตัวรันวัดที่คอมไพล์เป็นแอป iOS/Android ได้ และครอบคลุม llama.cpp, MLX, OpenVINO, vLLM, SGLang ในเครื่องมือเดียว แปลว่าทีมที่จะเอาโมเดลลงมือถือมี เครื่องมือวัดที่ใช้กับฮาร์ดแวร์ของตลาดตัวเองได้จริง — ไม่ต้องเชื่อลีดเดอร์บอร์ดของใคร

และนี่คือจุดที่มันตรงกับปัญหาไทย/เอเชียตะวันออกเฉียงใต้อย่างเจ็บปวด อุปกรณ์สามเครื่องบนลีดเดอร์บอร์ด — Galaxy S26 Ultra, iPhone 17 Pro, MacBook Pro — คือเครื่องท็อปทั้งหมด ตลาดจริงของภูมิภาคนี้ไม่ได้อยู่ตรงนั้น มันอยู่ที่ Android ระดับกลาง RAM 6-8GB ที่ใช้ชิปรุ่นสองสามปีก่อน ตัวเลข throughput จาก S26 Ultra บอกอะไรเกี่ยวกับเครื่องเหล่านั้นได้น้อยมาก เพราะคอขวดคนละจุดกันสิ้นเชิง (thermal throttling และแบนด์วิดท์หน่วยความจำ ไม่ใช่ compute ดิบ) เครื่องมือ Apache-2.0 ที่รันวัดเองได้จึงมีค่ากับนักพัฒนาไทยมากกว่าลีดเดอร์บอร์ดที่ Liquid AI รันให้ — และถ้ามีทีมในภูมิภาคนี้เก็บข้อมูลจากเครื่องระดับกลางแล้วเผยแพร่ นั่นจะเป็นข้อมูลที่ไม่มีใครในซิลิคอนแวลลีย์ผลิตให้เราได้

ประเด็นสุดท้ายที่ควรจับตา: การที่เบนช์มาร์กเริ่มยอมรับว่า รันไทม์เป็นตัวแปรที่ต้องวัด ไม่ใช่รายละเอียดที่ละไว้ เป็นสัญญาณว่าวงการ local LLM กำลังโตขึ้นจากยุค “โพสต์ tok/s ของตัวเองบน Reddit” ไปสู่วิศวกรรมที่วัดซ้ำได้ ถ้า Pipette เปิดรับผลจากชุมชนได้จริงตามที่บอก และข้อมูลไม่ถูกกรองให้เข้าข้างเจ้าของแพลตฟอร์ม มันมีโอกาสกลายเป็นสิ่งที่วงการนี้ขาดมานาน — แต่ “ถ้า” ทั้งสองข้อนั้นยังพิสูจน์ไม่ได้ในวันนี้

แหล่งข่าว

• Pipette Leaderboard — Liquid AI
• Liquid4All/pipette-clients — GitHub (Apache-2.0)
• Liquid4All/pipette-mgmt — GitHub (Apache-2.0)
• Liquid AI Open-Sources Pipette — MarkTechPost (25 ส.ค. 2026)