ข้ามไปยังเนื้อหา

แท็ก

#llamacpp

1 บทความ

Bonsai 27B: ย่อโมเดล 27B ให้รันบนมือถือได้จริง ด้วยการควอนไทซ์ 1-bit
โมเดลใหม่

Bonsai 27B: ย่อโมเดล 27B ให้รันบนมือถือได้จริง ด้วยการควอนไทซ์ 1-bit

PrismML ปล่อย Bonsai 27B โมเดลมัลติโมดัลจาก Qwen3.6-27B ที่ควอนไทซ์เหลือ 1-bit (3.9GB) และ ternary (5.9GB) — เคลมว่าเป็นโมเดลระดับ 27B ตัวแรกที่รันบน iPhone ได้ (11 tok/s) โดยยังรักษาความสามารถไว้ ~90-95% ของ FP16 แจกฟรี Apache 2.0

· อ่าน 6 นาที