Bonsai 27B: ย่อโมเดล 27B ให้รันบนมือถือได้จริง ด้วยการควอนไทซ์ 1-bit

โจทย์ที่แยกโลก “โมเดลใหญ่ในคลาวด์” ออกจาก “โมเดลเล็กบนเครื่อง” มาตลอด คือ ขนาดหน่วยความจำ — โมเดล 27B พารามิเตอร์แบบ FP16 กินราว 54GB ซึ่งเกินกว่าที่โทรศัพท์หรือแล็ปท็อปทั่วไปจะรับไหว วันที่ 14 กรกฎาคม 2026 สตาร์ทอัพ PrismML ประกาศ Bonsai 27B ซึ่งพยายามลบเส้นแบ่งนั้น: เอา Qwen3.6-27B (โมเดลมัลติโมดัลรับทั้งภาพและข้อความ) มาควอนไทซ์แบบ end-to-end เหลือ 1-bit จนไฟล์เหลือเพียง 3.9GB และเคลมว่าเป็น โมเดลระดับ 27B ตัวแรกที่รันบนมือถือได้จริง

สิ่งที่ทำให้ข่าวนี้น่าสนใจไม่ใช่แค่ตัวเลขขนาด แต่คือ ความสามารถที่เหลืออยู่ — PrismML เคลมว่ารุ่น 1-bit ยังรักษาความฉลาดไว้ราว 89.5% ของ FP16 และรุ่น ternary รักษาไว้ถึง 94.6% ทั้งหมดแจกฟรีใต้ license Apache 2.0 รันได้บน llama.cpp และ MLX ทันที

ควอนไทซ์ถึงกระดูก: 1-bit และ ternary

จุดต่างของ Bonsai จากการควอนไทซ์ทั่วไป (ที่มักหยุดที่ 4-bit หรือ 8-bit) คือมันบีบ weight เกือบทั้งโมเดลลงไปถึงระดับต่ำสุด:

• รุ่น 1-bit — weight เป็นเลขฐานสอง {−1, +1} ที่ 1.125 bits/weight ผ่าน group-wise FP16 scaling → ไฟล์ 3.9GB เล็กกว่า FP16 ราว 14 เท่า
• รุ่น ternary (1.58-bit) — weight เป็น {−1, 0, +1} ที่ 1.71 bits/weight → ไฟล์ 5.9GB เล็กกว่าราว 9 เท่า

การควอนไทซ์ครอบคลุมทั้ง embeddings, attention, MLP และ LM head ส่วน vision tower (0.46B พารามิเตอร์) ถูกแยกเก็บที่ 4-bit (HQQ) เพราะไวต่อการบีบมากกว่า ตัวโมเดลภาษาหลักมีราว 24.8B พารามิเตอร์ และรองรับ context ยาวถึง 262K tokens — สถาปัตยกรรม hybrid-attention ของ Qwen3.6 ไม่ถูกแก้ เพียงแค่เปลี่ยนความละเอียดของ weight

รันบน iPhone ได้จริงแค่ไหน

PrismML รายงานตัวเลขวัดจริง (ไม่ใช่แค่ทฤษฎี):

• iPhone 17 Pro — รุ่น 1-bit ทำได้ ~11 tokens/s และประหยัดพอที่จะสร้าง ~672 tokens ต่อแบตเตอรี่ 1%
• แล็ปท็อป Apple M5 Pro — ~44 tokens/s
• GPU H100 — ~104.8 tokens/s

บนเบนช์มาร์กโหมด thinking 15 ชุด รุ่น 1-bit ได้คะแนนเฉลี่ย 76.11 (เทียบเป็น 89.5% ของ FP16) โดยงานคณิตศาสตร์อยู่ที่ 91.66 และงานเขียนโค้ด 81.88 — ตัวเลขเหล่านี้มาจากผู้พัฒนาเอง จึงควรรอเบนช์มาร์กอิสระ (LMArena / Artificial Analysis) มายืนยันอีกชั้น แต่ถ้าใกล้เคียงของจริง ก็นับว่าน่าทึ่งสำหรับโมเดลขนาด 3.9GB

จะลองใช้อย่างไร

น้ำหนักโมเดลอยู่บน Hugging Face ที่ prism-ml/Bonsai-27B-gguf (รุ่น 1-bit) และ prism-ml/Ternary-Bonsai-27B-gguf เป็นไฟล์ GGUF พร้อมโหลดเข้า llama.cpp (รองรับ CUDA, Metal, CPU) หรือ MLX บน Apple Silicon สำหรับนักพัฒนาที่อยากได้ throughput สูงขึ้น มี “DSpark drafter” (speculative decoding) แถมมาให้ด้วย ส่วน vision tower เป็น optional หากต้องการงานมัลติโมดัล

มุมมอง AI Curator

Bonsai 27B ตอกย้ำเทรนด์ที่สำคัญที่สุดสำหรับนักพัฒนาสาย on-device ในปี 2026: การควอนไทซ์ระดับ sub-2-bit กำลังกลายเป็นของใช้ได้จริง ไม่ใช่งานวิจัยในกระดาษ สิ่งที่ควรจับตาไม่ใช่คำว่า “1-bit” (ซึ่งฟังดูหวือหวา) แต่คือ อัตราการรักษาความสามารถ — ถ้ารุ่น ternary รักษา ~95% ของ FP16 ได้จริงตามเคลม การรัน ternary (5.9GB) บนแล็ปท็อปก็อาจกลายเป็นจุดสมดุลที่ดีกว่ารุ่น 1-bit ที่เน้นลงมือถือ นักพัฒนาควรทดสอบ ทั้งสองรุ่น กับงานจริงของตัวเอง เพราะ 89.5% กับ 94.6% ต่างกันมากในงานที่ต้องการความแม่นยำ เช่น การเรียกใช้เครื่องมือหรือการเขียนโค้ดที่ต้องรันได้

สำหรับบริบทไทย/SEA เรื่องนี้มีความหมายสองชั้น หนึ่งคือ ต้นทุน — โมเดลระดับ 27B ที่รันบนเครื่องผู้ใช้เองแปลว่าไม่มีค่า API ต่อ token ไม่มีปัญหา rate limit และข้อมูลไม่ต้องออกจากเครื่อง เหมาะกับแอปที่ต้องดูแล PDPA และความเป็นส่วนตัว สองคือ การเข้าถึง — ฮาร์ดแวร์เรือธงราคาแพงไม่ใช่เงื่อนไขบังคับอีกต่อไป เมื่อโมเดลความสามารถสูงเริ่มรันบนอุปกรณ์ระดับกลางได้ ทีมเล็กในภูมิภาคที่งบจำกัดก็มีทางเลือกที่ไม่ต้องพึ่งคลาวด์ต่างชาติ ข้อควรระวังเดียวคืออย่าเพิ่งเชื่อตัวเลขเบนช์มาร์กจากผู้ผลิต 100% — ดาวน์โหลด GGUF มาลองกับ prompt งานของคุณเองก่อนตัดสินใจย้าย production มาไว้บนเครื่อง

แหล่งข่าว:

• PrismML Releases Bonsai 27B — MarkTechPost (14 ก.ค. 2026)
• PrismML — ประกาศทางการ Bonsai 27B
• prism-ml/Bonsai-27B-gguf — Hugging Face
• prism-ml/Ternary-Bonsai-27B-gguf — Hugging Face