Qwen-UI-Agent: Alibaba อ้างโมเดล GUI agent ขนาด 27B ชนะ Opus 4.8 และ Gemini 3.1 Pro บนมือถือจริง — แต่ยังไม่ปล่อยน้ำหนักโมเดล
รายงานเทคนิค Qwen-UI-Agent: Toward Next-Generation Real-World Centric Foundation GUI Agents ลงวันที่ 29 กรกฎาคม 2026 จากทีม MAI-UI (Alibaba Token Hub, Alibaba Group) และประกาศบนรีโป Tongyi-MAI/MAI-UI เมื่อ 30 กรกฎาคม — เป็นงานต่อยอดจาก MAI-UI เดิม และตอนนี้เป็นหนึ่งในเปเปอร์ที่ถูกโหวตสูงสุดบน Hugging Face Papers
ข้อเสนอหลักคือ GUI agent ที่ ไม่ได้ฝึกและวัดผลในแซนด์บ็อกซ์อย่างเดียว แต่ต่อสะพานไปยัง อุปกรณ์ Android จริงกว่า 100 เครื่อง รองรับแอปกว่า 150 ตัว ใช้ทั้งเก็บ trajectory, ทำ online RL และวัดผล ทีมมีสามรุ่น — 27B (รุ่นหลัก), 35B-A3B (MoE แอ็กทีฟ 3B/โทเคน) และ 4B
ตัวเลขที่อ้าง
บนงานมือถือ ตัวเลขห่างจากคู่แข่งอย่างน่าตกใจ — MobileWorld (ซับเซ็ต GUI-only 117 งาน):
| โมเดล | ขนาด | สำเร็จ (%) |
|---|---|---|
| Qwen-UI-Agent | 27B | 82.1 |
| Seed 2.1 Pro | closed | 73.2 |
| GPT-5.6 Sol | closed | 70.1 |
| Claude Opus 4.8 | closed | 67.5 |
| Qwen-UI-Agent | 35B-A3B | 65.0 |
| Qwen 3.7 Plus | 397B-A17B | 62.3 |
| Gemini 3.1 Pro | closed | 58.1 |
| Kimi K2.6 | 1T-A32B | 55.6 |
| GUI-Owl-1.5-32B | 32B | 43.9 |
และเมื่อขยายเพดานจำนวนขั้นเป็น 100 ขั้น รุ่น 27B ขยับขึ้นเป็น 85.5%
บนเบนช์มาร์กอุปกรณ์จริง MobileWorld-Real (409 งาน / 104 แอป) ได้ 92.2% เหนือ Seed 2.1 Pro (88.7), Gemini 3.1 Pro (86.2) และ GPT-5.6 Sol (85.4) ส่วน AndroidDaily ได้ 97.5% เทียบ 95.2 และ 93.8
แต่พอย้ายมาเดสก์ท็อป ภาพเปลี่ยน — OSWorld-Verified ได้ 79.5% เป็นอันดับสอง ตามหลัง Claude Opus 4.8 ที่ 83.4% แต่ยังนำ Seed 2.1 Pro (78.8), GPT-5.5 (78.7), Gemini 3.5 Flash (78.4), Gemini 3.1 Pro (76.2), MiniMax M3 (75.2) และ Kimi K2.6 (73.1)
และบน OSWorld-v2 ซึ่งเป็นงานยาวกว่า ช่องว่างเปิดกว้างชัดเจน: Qwen-UI-Agent ได้ partial 40.0% / binary 13.9% ที่ 135.8 ขั้นต่องาน เทียบ Opus 4.8 ที่ 54.8 / 20.6 ที่ 103.0 ขั้น — ชนะ GPT-5.5 ด้าน binary อยู่ 0.9 จุด แต่แพ้ partial อยู่ 9.5 จุด ส่วนที่นำโมเดลโอเพนเวตด้วยกันคือนำขาด (เหนือ MiniMax M3 อยู่ 17.7/9.3 จุด)
ที่เหลือ: WebArena 73.6%, BrowseComp-ZH 75.0%, ScreenSpot-Pro 81.5% (76.6% เมื่อไม่ใช้เทคนิค zoom-in)
สิ่งที่น่าสนใจกว่าคะแนน
สามอย่างในวิธีการที่ผมคิดว่ามีค่ากับคนสร้างเอเจนต์มากกว่าตารางเบนช์มาร์ก
หนึ่ง — action space รวม GUI กับ CLI ไว้ด้วยกัน และสั่งเป็นชุดต่อหนึ่งเทิร์น แทนที่จะแตะทีละครั้งแล้วรอโมเดลคิดใหม่ ตารางของ OSWorld-v2 ระบุ action mode ไว้ชัดว่าโมเดลที่ทำคะแนนดี (Opus 4.8, GPT-5.5, Qwen-UI-Agent) ล้วนเป็น batched ขณะที่โมเดลที่สั่งทีละ action อย่าง MiniMax M3, Kimi K2.6 และ Qwen 3.7 Plus ได้ partial แถว ๆ 21–22% และใช้ขั้นตอนมากกว่าถึง 2–2.4 เท่า
สอง — online RL บน trajectory ที่ยาวเกิน 100 เทิร์น ด้วยสภาพแวดล้อมขนานกว่า 10,000 ชุด นี่คือส่วนที่ต้นทุนโครงสร้างพื้นฐานสูงมากและเป็นเหตุผลว่าทำไมงานระดับนี้ยังออกมาจากแล็บใหญ่เป็นหลัก ทีมยังบอกด้วยว่าเทรน domain expert แยกกันแล้ว merge เข้าเป็นเช็คพอยต์เดียว
สาม — เหตุผลที่ต้องใช้เครื่องจริง รายงานอธิบายไว้ตรง ๆ ว่าโมเดลที่ทำได้ดีในซิมมักพังบนเครื่องจริง เพราะของจริงมี pop-up, ล็อกอินหมดอายุ, คำขอสิทธิ์, CAPTCHA และเนื้อหาที่เปลี่ยนตลอด — และย้ำว่า ระบบนิเวศมือถือจีนขยายความยากนี้อีกชั้น ด้วยซูเปอร์แอป อินเทอร์เฟซหนาแน่น และฟังก์ชันที่ซ่อนลึก ตัวอย่าง trajectory ที่ยกมาคืองานข้ามแอป 27 ขั้น: หาที่อยู่บน Amap → หาคาเฟ่ยอดนิยมในรัศมี 1 กม. บน Dianping → สรุปโพสต์ลง RedNote
ข้อจำกัดที่ต้องพูดให้ชัด
ยังไม่มีน้ำหนักโมเดล — ณ เวลาที่เขียน หน้าองค์กร Tongyi-MAI บน Hugging Face มีแค่ MAI-UI-8B และ MAI-UI-2B รุ่นก่อนหน้าจากธันวาคม 2025 ไม่มีเช็คพอยต์ของ Qwen-UI-Agent ทั้งสามรุ่น README ระบุว่าตัวโปรเจกต์อยู่ภายใต้ Apache License 2.0 แต่ใบอนุญาตกับการปล่อยน้ำหนักเป็นคนละเรื่องกัน
คะแนนทั้งหมดเป็นตัวเลขที่ทีมรายงานเอง และเบนช์มาร์กที่ตัวเลขห่างที่สุดสองตัว — MobileWorld-Real — ก็เป็นเบนช์มาร์กที่ทีมนี้สร้างเองและเผยแพร่พร้อมกันในรายงานฉบับเดียวกัน นั่นไม่ได้แปลว่าผิด แต่แปลว่ายังไม่มีใครนอกทีมยืนยัน
มุมมอง AI Curator
ตัวเลขที่ทำให้ผมสะดุดที่สุดไม่ใช่ 82.1% แต่คือ ช่องว่างระหว่างมือถือกับเดสก์ท็อปภายในโมเดลเดียวกัน — โมเดล 27B ตัวเดียวกันนี้ชนะ Opus 4.8 อยู่ 14.6 จุดบน MobileWorld แต่แพ้ Opus 4.8 อยู่ 3.9 จุดบน OSWorld-Verified และแพ้ขาด 14.8 จุด (partial) บน OSWorld-v2 คำอธิบายที่ตรงไปตรงมาที่สุดคือ นี่ไม่ใช่โมเดลที่ “เก่งกว่า” โมเดลชายแดน แต่คือโมเดลที่ถูกฝึกมาตรงกับสนามหนึ่งอย่างหนัก — และสนามนั้นคือมือถือ ซึ่ง Opus กับ Gemini ไม่ได้ถูกออกแบบมาเพื่อมันโดยเฉพาะ
ผมคิดว่านั่นคือข้อสรุปที่มีประโยชน์กว่าการเถียงว่าใครเก่งกว่า: GUI agent กำลังกลายเป็นงานที่ผู้เชี่ยวชาญเฉพาะทางขนาดเล็กเอาชนะโมเดลใหญ่ทั่วไปได้จริง ถ้า 27B ทำแบบนี้ได้ ต้นทุนของการมี “เอเจนต์ที่กดแอปเป็น” ในองค์กรก็ต่ำกว่าที่คิดไว้เมื่อปีก่อนมาก โดยเฉพาะเมื่อรุ่น 35B-A3B แอ็กทีฟแค่ 3B ต่อโทเคน
สำหรับไทยและ SEA มุมนี้ตรงประเด็นเป็นพิเศษ เพราะตรรกะเดียวกับที่รายงานใช้กับ “ระบบนิเวศมือถือจีน” ใช้กับบ้านเราได้แทบทุกคำ — ชีวิตดิจิทัลของคนไทยเกิดในแอปมือถือเป็นหลัก ผ่านซูเปอร์แอปที่ฟังก์ชันซ้อนลึก (LINE, แอปธนาคาร, แอปอีคอมเมิร์ซ, แอปภาครัฐ) ซึ่ง แทบไม่มี API สาธารณะให้เอเจนต์เรียก ทางเดียวที่เอเจนต์จะช่วยงานจริงได้คือกดหน้าจอเหมือนคน และนั่นแปลว่างานแนวนี้มีค่ากับเรามากกว่างาน computer-use แบบเดสก์ท็อปเสียอีก
แต่ช่องว่างที่ตามมาคือสิ่งที่ผมอยากฝากไว้: ไม่มีเบนช์มาร์กแบบ MobileWorld-Real เวอร์ชันไทย เบนช์มาร์กที่วัดกันอยู่ทุกวันนี้ผูกกับแอปจีนและแอปตะวันตก โมเดลที่ทำ 92.2% บนอุปกรณ์จริงในระบบนิเวศจีน ไม่มีใครรู้ว่าจะทำได้เท่าไรกับการยืนยันตัวตนของแอปธนาคารไทย ขั้นตอนพร้อมเพย์ หรือหน้าจอ ThaiD และตราบใดที่ยังไม่มีใครวัด เราจะซื้อของโดยเชื่อตัวเลขจากสนามอื่นไปเรื่อย ๆ การสร้างชุดงานวัดผลบนแอปไทยจริง แม้แค่ 100 งาน ก็เป็นงานที่มหาวิทยาลัยหรือสตาร์ตอัปไทยทำได้และมีคนอยากใช้แน่นอน — และเป็นงานที่ต้นทุนต่ำกว่าการเทรนโมเดลเองมหาศาล
ข้อสุดท้าย: จนกว่าน้ำหนักจะออก อันนี้ยังเป็น เปเปอร์ ไม่ใช่เครื่องมือ ทีมที่วางแผนจะใช้ควรจับตาหน้า Tongyi-MAI บน Hugging Face ต่อ — ทีมนี้เคยปล่อย MAI-UI-8B/2B มาแล้ว จึงมีประวัติที่ทำให้พอมีความหวัง แต่ก็ยังเป็นแค่ความหวัง
แหล่งข่าว
อ่านเพิ่มในหมวด งานวิจัย
Anthropic ให้ Claude สร้างชุดข้อมูลที่ดูไร้พิษภัยแต่ทำโมเดลเบี้ยว ซ่อนในเรื่องเลี้ยงผึ้งและมวยปล้ำ จนผ่านระบบตรวจที่คล้ายของจริง
ทีม Alignment ของ Anthropic ให้ Claude ปีนหาชุดข้อมูล fine-tune ที่หลบ monitor ได้ ผลคือซ่อนพฤติกรรมในงานเขียนแนวบทบาทสมมติ และโมเดลที่เทรนแล้วนำไปใช้ในบุคลิกตัวเอง ผลซ้ำได้บน Qwen 3.6 27B แต่การทดลองเอื้อฝ่ายโจมตีมากและไม่ได้สะท้อนโมเดลที่ใช้งานจริง
Memdoor ทำซ้ำ GVS5H ได้: ทีม Qwen3.8-27B ห้าตัวตามทัน Fable 5 บนโจทย์ LiveCodeBench Hard แต่ผู้ทำบอกเองว่า 'เท่า' ไม่ใช่ 'ชนะ'
Memdoor ปล่อย workflow team-solve ที่เขียนวิธี GVS5H เป็น YAML ล้วนและทำคะแนน 9.8/10 บน LiveCodeBench Hard 10 ข้อ เทียบกับ 8.0 ของ Fable 5 แบบเรียกครั้งเดียว แต่ตัวอย่างเล็กและมีข้อจำกัด ส่วนงานวิจัยต้นฉบับชี้ว่าวิธีนี้ไม่ได้ช่วยทุกโมเดล
QwenPU รัน LLM ซ้อนใน LLM ด้วยหน่วยเวกเตอร์ที่คอมไพล์ลงในน้ำหนัก Qwen3.5-4B ส่วน bootgpt ทำให้เครื่อง 386 บูตเข้าโมเดลภาษาโดยไม่มี OS
ผู้สร้าง Qwenputer ปล่อย QwenPU เมื่อ 31 ต.ค. รัน stories260K ของ Karpathy บนหน่วยเวกเตอร์ที่คอมไพล์ลงในน้ำหนัก Qwen3.5-4B ลดเหลือ 53,000 trace token ต่อหนึ่ง token เรื่องเล่า วันเดียวกัน bootgpt ใส่โมเดล int8 ขนาด 11.5KB ให้บูตบนเครื่อง 386 โดยไม่มี OS