เครื่องมือนักพัฒนา
WASTE: รัน Kimi K3 ตัวเต็ม 2.78 ล้านล้านพารามิเตอร์บนโน้ตบุ๊ก 64GB ด้วยการสตรีม expert จาก NVMe
เอนจิน inference ภาษา C ที่ไม่มี dependency ใด ๆ รัน Kimi K3 ตัวเต็ม 2.78T พารามิเตอร์บน MacBook Pro 64GB ได้ที่ 0.49–0.54 tok/s โดยเก็บ trunk 27.28GB ไว้ใน RAM แล้วสตรีม expert ที่เหลือจาก NVMe — ช้ามาก แต่พิสูจน์ว่าโมเดลระดับ frontier ไม่จำเป็นต้องอยู่บนเซิร์ฟเวอร์อีกต่อไป
· อ่าน 7 นาที