Bonsai 2 27B: อัด Qwen3.8-27B ลงเหลือ 5.9GB ที่ 1.72 บิตต่อน้ำหนัก — เก็บความฉลาดไว้ 98.2% และรันบนแล็ปท็อปได้จริง

เมื่อ 17 กันยายน 2026 สตาร์ทอัพ PrismML ปล่อย Ternary Bonsai 2 27B ซึ่งเป็นภาคต่อของ Bonsai 27B ที่เราเคยเขียนถึงเมื่อกรกฎาคม คราวนี้ฐานเปลี่ยนจาก Qwen3.6-27B เป็น Qwen3.8-27B และตัวเลขที่พวกเขาเคลมก็ขยับจาก “น่าสนใจ” ไปเป็น “น่าตกใจ”: โมเดลระดับ 27B ที่คิดเป็น (thinking model) รับภาพได้ คอนเท็กซ์ 262K โทเคน อัดลงเหลือไฟล์ 5.95GB และยังทำคะแนนได้ 98.2% ของรุ่น FP16 ที่กิน 54GB

ตัวเลขที่ควรจำคือ 1.72 บิตต่อน้ำหนัก — เป็นค่าเฉลี่ยจริงทั้งโมเดล ไม่ใช่ป้ายชื่อการตลาด และนี่คือจุดที่ Bonsai 2 ต่างจากไฟล์ควอนไทซ์ทั่วไปที่เราคุ้นเคย

”2-bit” ที่ไม่ใช่ 2 บิต กับ 1.72 ที่เป็น 1.72 จริง

ประโยคที่แรงที่สุดในโมเดลการ์ดของ PrismML คือการชี้นิ้วไปที่มาตรฐานการตั้งชื่อของวงการ quantization ตรง ๆ: ไฟล์ IQ2_XXS ของ Qwen3.8-27B ที่ทุกคนเรียกกันว่า “2-bit” จริง ๆ แล้วมีความกว้างเฉลี่ย 2.8 บิตต่อน้ำหนัก และกิน 9.4GB เพราะมันเก็บบางเทนเซอร์ไว้ที่ความละเอียดสูงเงียบ ๆ

Bonsai 2 อ้างว่าไม่มีทางหนีแบบนั้น — น้ำหนัก ternary {−1, 0, +1} ถูกใช้ครอบคลุม embeddings, attention projections, MLP projections และ LM head ทั้งหมด มีเพียง 26.2 ล้านพารามิเตอร์ (0.0976% ของ language model) ที่ยังอยู่ความละเอียดสูงกว่า ได้แก่ recurrent state path ของชั้น linear attention กับ normalization weights และตัวเลขนี้ถูกนับรวมเข้าไปในค่า 1.72 แล้ว

เทียบกันตรง ๆ จากตารางเบนช์มาร์กของ PrismML (วัดด้วย EvalScope + vLLM บน H100 ในโหมดคิด 14 เบนช์มาร์ก):

รุ่น	บิต/น้ำหนัก (จริง)	ขนาด	คะแนนเฉลี่ย	เทียบ FP16
Qwen3.8-27B FP16	16.0	54 GB	86.32	100%
Qwen3.8-27B UD-Q4_K_XL (“4-bit”)	5.2	17.6 GB	85.18	98.7%
Qwen3.8-27B IQ2_XXS (“2-bit”)	2.8	9.4 GB	72.59	84.1%
Ternary Bonsai 2 27B	1.72	5.9 GB	84.78	98.2%

จุดที่สำคัญกว่าค่าเฉลี่ยคือ รูปแบบของความเสียหาย ไฟล์ IQ2_XXS ยังทำ MMLU-Redux ได้ 88.93 ซึ่งดูดี แต่ร่วงเหลือ 57.5 บน AIME26 และ 56.4 บน LiveCodeBench — พังเฉพาะงานที่ต้องคิดยาวเป็นลูกโซ่ ซึ่งเป็นเหตุผลว่าทำไมการทดสอบแบบถามเล่น ๆ ถึงจับไม่ได้ ส่วน Bonsai 2 ทำสองตัวนี้ได้ 95.83 และ 90.07 ตามลำดับ (AIME26 สูงกว่า FP16 ที่ 94.58 ด้วยซ้ำ ซึ่งในช่วงความแปรปรวนของ AIME ควรอ่านว่า “เสมอ” มากกว่า “ชนะ”)

ช่องว่างที่เหลือกระจุกอยู่สองหมวด: knowledge & reasoning (85.55 → 79.86) และ vision (71.36 → 66.19) ส่วน coding เสมอกับ FP16 (89.07 → 89.42) และ instruction following แซงเล็กน้อย (81.25 → 82.66)

สองแพ็กกิ้ง และเงื่อนไขที่คุณต้องอ่านก่อนดาวน์โหลด

รีโปนี้ส่งไฟล์ GGUF มาสองแบบ ซึ่งไม่ได้เรียงว่าอันไหนดีกว่า:

• PTQ1_0 — อัด trit แบบแน่น 1.75 บิต/น้ำหนัก, 5.95GB เป็นตัวเลือกเมื่อหน่วยความจำคือข้อจำกัด และ decode เร็วกว่าบนการ์ดรุ่น Ada กับ L4
• PQ2_0 — เก็บแต่ละ trit ในช่อง 2 บิต 2.13 บิต/น้ำหนัก, 7.21GB แลกพื้นที่กับการ unpack ที่ถูกลง decode เร็วกว่าบน H100, A100 และการ์ด Blackwell และ prompt processing เร็วกว่าทุกแพลตฟอร์ม

Vision tower แยกออกมาเป็นไฟล์ mmproj (Q8_0, 0.63GB) โหลดเฉพาะตอนมีภาพเข้ามา — การเสิร์ฟข้อความล้วนจึงไม่ต้องจ่ายค่านี้

นี่คือข้อจำกัดที่ต้องรู้ก่อน: ไฟล์เหล่านี้ รันบน llama.cpp ตัวมาตรฐานไม่ได้ โมเดลการ์ดระบุตรง ๆ ว่า stock llama.cpp จะปฏิเสธ PQ2_0 และ PTQ1_0 ว่าเป็นชนิดที่ไม่รู้จัก และที่อันตรายกว่าคือมัน โหลด Q2_0 ได้โดยไม่เตือน แล้วพ่นขยะออกมา เพราะไม่มี Hadamard activation runtime ที่คู่กัน (Bonsai 2 เก็บน้ำหนักใน basis ที่ถูกหมุนด้วย blockwise Hadamard rotation ขนาดบล็อก 1024 แล้ว runtime ต้องหมุน activation ให้ตรงกัน) ต้องใช้ไบนารีจาก fork ของ PrismML เท่านั้น — สำหรับ Apple Silicon ก็มี fork ของ MLX และ mlx-swift แยกต่างหาก

ความเร็วจริงจาก llama-bench (batch 1, ไม่มี vision tower):

แพลตฟอร์ม	PQ2_0 (tok/s)	PTQ1_0 (tok/s)
RTX 5090 (32GB)	129.9	120.5
RTX PRO 6000 Blackwell	124.8	117.9
H100 SXM (80GB)	113.9	86.9
RTX 4090 (24GB)	81.2	91.1
L4 (24GB, 72W)	29.8	32.1
แล็ปท็อป Apple M5 Pro (Metal)	28.1	—

บน M5 Max (วัดจากบิลด์ก่อนหน้า รอวัดซ้ำ) ได้ 47.0 tok/s ส่วน M4 Pro ได้ 18.0 tok/s — และประเด็นบนแล็ปท็อปไม่ใช่อัตราเร่ง เพราะ FP16 ขนาด 54GB ใส่ไม่ลงตั้งแต่แรก ตัวเลขที่มีความหมายคือ 27B รันแบบโต้ตอบได้บนเครื่องพกพา ที่กำลังไฟ GPU rail เพียง 27.5W เทียบกับการ์ด NVIDIA ข้างบนที่กิน 300–455W

ตัวเลขบนหน้าประกาศกับบนโมเดลการ์ดไม่ตรงกัน

ข้อควรระวังที่นักพัฒนาควรรู้: หน้าประกาศของ PrismML กับโมเดลการ์ดบน Hugging Face รายงานตัวเลขไม่ตรงกันหลายจุด หน้าเว็บบอก 1.76 บิตต่อน้ำหนัก / คะแนนรวม 83.9 / 143 tok/s บน RTX 5090 / 46.8 tok/s บน M5 Max ส่วนโมเดลการ์ดบอก 1.72 บิต / 84.78 / 129.9 / 47.0

ส่วนหนึ่งอธิบายได้ — ตารางบนหน้าเว็บใช้ชุดเบนช์มาร์กคนละชุด (มี τ²-bench, BFCLv3, BigCodeBench, CharXiv, OmniDocBench และรวมหมวด vision ในสัดส่วนต่างกัน) จึงได้ค่าเฉลี่ยคนละตัว แต่ 143 vs 129.9 tok/s บนการ์ดตัวเดียวกัน ไม่ได้อธิบายไว้ ถ้าจะอ้างอิงตัวเลข ให้ยึดโมเดลการ์ดซึ่งระบุวิธีวัด (llama-bench, tg128, batch 1, depth 0) ไว้ชัดเจนกว่า

ทั้งหมดแจกใต้ Apache 2.0 พร้อมรุ่น MLX 2-bit สำหรับ Apple Silicon และ whitepaper เต็มบน GitHub

มุมมอง AI Curator

ปีนี้เราเขียนถึงงาน quantization ต่ำกว่า 2 บิตมาหลายชิ้น — BITCOS เมื่อวานที่พิสูจน์ว่าโมเดล ternary มีน้ำหนักเป็นศูนย์เยอะพอจะบีบต่ำกว่าเพดาน 1.585 บิตได้ และ Bonsai รุ่นแรกเมื่อกรกฎาคม สิ่งที่ Bonsai 2 เพิ่มเข้ามาไม่ใช่เทคนิคใหม่ แต่คือ หลักฐานว่าเทคนิคพวกนี้รอดข้ามรุ่นฐานได้ — Bonsai 1 ทำกับ Qwen3.6 และ Gemma-4-31B, Bonsai 2 ทำกับ Qwen3.8 แล้วยังได้ retention ระดับเดียวกัน แปลว่ามันเป็นคุณสมบัติของวิธีการ ไม่ใช่โชคของโมเดลใดโมเดลหนึ่ง

สำหรับนักพัฒนาไทย นี่คือข่าวที่มีผลจริงกับต้นทุน เพราะเส้นแบ่งที่เคยกั้นเราไว้คือ VRAM: 27B ที่คิดเป็นและรับภาพได้ เคยแปลว่าต้องเช่า A100/H100 รายชั่วโมง หรือจ่ายค่า API ต่อโทเคน ตอนนี้มันลงมาอยู่ใน 5.95GB ซึ่งการ์ดเกม 8GB ที่ขายตามพันธุ์ทิพย์ก็รันได้ — งานที่ได้ประโยชน์ทันทีคืองานที่ ข้อมูลออกนอกเครื่องไม่ได้: เอกสารสัญญา, เวชระเบียน, ข้อมูล PDPA ที่ไม่อยากส่งขึ้นคลาวด์ต่างประเทศ ซึ่งเป็นโจทย์ที่องค์กรไทยติดมาตลอดสองปี

แต่อย่าเพิ่งรีบเปลี่ยน production เพราะเงื่อนไข fork คือค่าใช้จ่ายที่ซ่อนอยู่ — คุณกำลังผูกตัวเองกับ llama.cpp สาขาหนึ่งที่บริษัทเดียวดูแล ต้องตาม rebase เอง ต้องรอ kernel ใหม่เอง และถ้า PrismML เลิกทำ ไฟล์ที่คุณดาวน์โหลดมาก็กลายเป็นขยะทันที (สิทธิ์ Apache 2.0 ครอบคลุมน้ำหนัก แต่ไม่ได้แปลว่าจะมีคนมาดูแล kernel ให้คุณ) ท่าที่สมเหตุสมผลกว่าคือ ทดสอบบนงานจริงของคุณเองก่อน โดยเฉพาะงาน agentic — ตัวเลข BFCL v3 ที่ 74.92 เทียบ 76.74 ดูเหมือนห่างนิดเดียว แต่ในลูป agent ที่เรียกทูล 40–60 รอบ ความผิดพลาดเล็ก ๆ มันทบต้นได้ และนั่นคือสิ่งที่ค่าเฉลี่ย 98.2% ไม่ได้บอกคุณ

แหล่งข่าว

• Introducing Bonsai 2 27B: Near-Lossless Compression in a 9x Smaller Footprint — PrismML (17 ก.ย. 2026)
• prism-ml/Ternary-Bonsai-2-27B-gguf — Hugging Face (โมเดลการ์ด, เบนช์มาร์กและ throughput เต็ม)
• prism-ml/Ternary-Bonsai-2-27B-mlx-2bit — รุ่น MLX สำหรับ Apple Silicon
• PrismML-Eng/Bonsai-demo — สคริปต์รันและ whitepaper