#tandem.cpp

เครื่องมือนักพัฒนา

tandem.cpp แพตช์ llama.cpp ให้ CPU ช่วย GPU รันโมเดล MoE ที่ใหญ่เกิน VRAM เร็วขึ้นสูงสุด 3.3 เท่าบน RTX 4090

tandem.cpp เป็นชุดแพตช์ MIT สำหรับ llama.cpp ที่เก็บ expert ที่ใช้บ่อยไว้บน GPU และให้ CPU คำนวณส่วนที่เหลือ ผู้พัฒนารายงานว่า Qwen3.8-Flash-Next ได้ราว 97 token/s บน RTX 4090 กับ RAM 64GB เทียบกับ 29.8 ของ llama.cpp แต่ตัวเลขยังไม่มีคนนอกยืนยัน