แท็ก

#Ternary LLM

2 บทความ

Bonsai 2 27B: อัด Qwen3.8-27B ลงเหลือ 5.9GB ที่ 1.72 บิตต่อน้ำหนัก — เก็บความฉลาดไว้ 98.2% และรันบนแล็ปท็อปได้จริง
โมเดลใหม่

Bonsai 2 27B: อัด Qwen3.8-27B ลงเหลือ 5.9GB ที่ 1.72 บิตต่อน้ำหนัก — เก็บความฉลาดไว้ 98.2% และรันบนแล็ปท็อปได้จริง

PrismML ปล่อย Ternary Bonsai 2 27B เมื่อ 17 ก.ย. 2026 — เอา Qwen3.8-27B มาบีบเป็น ternary ทั้งโมเดลที่ 1.72 บิตต่อน้ำหนัก เหลือไฟล์ 5.95GB (เล็กกว่า FP16 ราว 9 เท่า) แต่ยังทำคะแนนเฉลี่ย 84.78 จาก 14 เบนช์มาร์กโหมดคิด = 98.2% ของ FP16 แจก Apache 2.0 แต่มีเงื่อนไขสำคัญ: ต้องใช้ llama.cpp ฉบับ fork ของ PrismML เท่านั้น

· อ่าน 8 นาที
BITCOS ทุบกำแพง 1.58 บิตของโมเดล ternary — พบว่าน้ำหนักเป็นศูนย์ถึง 51.5% เลยบีบเหลือ 1.485 บิตต่อน้ำหนัก และ decode เร็วขึ้นถึง 1.27 เท่า
งานวิจัย

BITCOS ทุบกำแพง 1.58 บิตของโมเดล ternary — พบว่าน้ำหนักเป็นศูนย์ถึง 51.5% เลยบีบเหลือ 1.485 บิตต่อน้ำหนัก และ decode เร็วขึ้นถึง 1.27 เท่า

เปเปอร์ที่ขึ้น arXiv เมื่อ 14 ก.ย. 2026 วัดการกระจายสัญลักษณ์จริงของโมเดล ternary 29 ตัว พบว่าน้ำหนักเป็นศูนย์มากถึง 51.5% จึงเสนอ BITCOS ซึ่งเป็นเลย์เอาต์แบบ bitmap + sign vector ที่กินพื้นที่ 2−z บิตต่อน้ำหนัก ชนะการแพ็กแบบ five-trit ใน 26 จาก 29 โมเดล ลงต่ำสุดที่ 1.485 บิต และดัน decode throughput ขึ้น 1.18 เท่าบน CPU กับ 1.27 เท่าบน GPU

· อ่าน 7 นาที