เครื่องมือนักพัฒนา
Magnitude — inference engine ในเครื่องที่จูน kernel บนฮาร์ดแวร์ของคุณเอง อ้างถอดรหัสเร็วกว่า llama.cpp 92% บน Mac แต่ตัวเลขมาจากโมเดลเดียว และฝั่งตัวเองบีบ KV cache เหลือ 8/4 บิต ขณะที่ llama.cpp ใช้ 16 บิต
30 ก.ย. 2026 Magnitude (YC S25) เปิดตัวบน Hacker News ในฐานะ inference engine แบบ Apache-2.0 เขียนด้วย Rust ที่จูนพารามิเตอร์ของ kernel บนเครื่องผู้ใช้ราว 1 นาทีต่อโมเดล อ้างว่าถอดรหัสเร็วกว่า llama.cpp 92% บน M4 Pro และ 19% บน DGX Spark แต่ทดสอบกับ Qwen3.6 35B-A3B เพียงตัวเดียว รองรับแค่ 15 โมเดลในแคตตาล็อก และยังไม่รองรับหลาย GPU
· อ่าน 5 นาที