ข้ามไปยังเนื้อหา

แท็ก

#PrismML

2 บทความ

Bonsai 2 27B: อัด Qwen3.8-27B ลงเหลือ 5.9GB ที่ 1.72 บิตต่อน้ำหนัก — เก็บความฉลาดไว้ 98.2% และรันบนแล็ปท็อปได้จริง
โมเดลใหม่

Bonsai 2 27B: อัด Qwen3.8-27B ลงเหลือ 5.9GB ที่ 1.72 บิตต่อน้ำหนัก — เก็บความฉลาดไว้ 98.2% และรันบนแล็ปท็อปได้จริง

PrismML ปล่อย Ternary Bonsai 2 27B เมื่อ 17 ก.ย. 2026 — เอา Qwen3.8-27B มาบีบเป็น ternary ทั้งโมเดลที่ 1.72 บิตต่อน้ำหนัก เหลือไฟล์ 5.95GB (เล็กกว่า FP16 ราว 9 เท่า) แต่ยังทำคะแนนเฉลี่ย 84.78 จาก 14 เบนช์มาร์กโหมดคิด = 98.2% ของ FP16 แจก Apache 2.0 แต่มีเงื่อนไขสำคัญ: ต้องใช้ llama.cpp ฉบับ fork ของ PrismML เท่านั้น

· อ่าน 8 นาที
Bonsai 27B: ย่อโมเดล 27B ให้รันบนมือถือได้จริง ด้วยการควอนไทซ์ 1-bit
โมเดลใหม่

Bonsai 27B: ย่อโมเดล 27B ให้รันบนมือถือได้จริง ด้วยการควอนไทซ์ 1-bit

PrismML ปล่อย Bonsai 27B โมเดลมัลติโมดัลจาก Qwen3.6-27B ที่ควอนไทซ์เหลือ 1-bit (3.9GB) และ ternary (5.9GB) — เคลมว่าเป็นโมเดลระดับ 27B ตัวแรกที่รันบน iPhone ได้ (11 tok/s) โดยยังรักษาความสามารถไว้ ~90-95% ของ FP16 แจกฟรี Apache 2.0

· อ่าน 6 นาที