เครื่องมือนักพัฒนา
FreeToken: เสิร์ฟ GLM-5.2 ขนาด 753B บนการ์ดจอใบเดียวได้ 14.9 tok/s เร็วกว่า llama.cpp เท่าตัว — เพราะเลิกตัดสินใจล่วงหน้าว่าอะไรอยู่บน GPU
เปเปอร์ FreeToken ขึ้น arXiv เมื่อ 17 ส.ค. 2026 พร้อมโค้ด Apache-2.0 โดยมี Ion Stoica, Matei Zaharia, Song Han และ Kurt Keutzer ร่วมเป็นผู้เขียน — เอ็นจิ้นเสิร์ฟโมเดล MoE ที่วัดแบนด์วิดท์ของเครื่องจริงแล้วแบ่งงานระหว่าง CPU กับ GPU ใหม่ระหว่างรัน ทำให้โน้ตบุ๊ก RTX 4060 8GB รันโมเดล 35B ได้ 39.3 tok/s และเวิร์กสเตชันการ์ดใบเดียวเสิร์ฟ GLM-5.2 753B ได้
· อ่าน 7 นาที