แท็ก
3 บทความ
Betelgeuse ฟอร์ก llama.cpp ที่เปิดเมื่อ 31 ต.ค. ดึง expert จาก NVMe เข้า VRAM ตามต้องการ อ้าง 22 tok/s แบบไม่ทิ้ง expert แต่ README เตือนเองว่ายังทดลองและตัวเลขมาจากคนละรอบ วันเดียวกันผู้พัฒนา Basalt เผยผลวัดว่าแฟล็กเร่งความเร็วทำคุณภาพ Q8 ตกไปใกล้ Q2
ห้องแล็บ DASLab ของ IST Austria อัปโหลด DeepSeek-V4.1-Flash-1017 แบบ GGUF ความแม่นยำผสม 1.75, 2.00 และ 2.25 บิตขึ้น Hugging Face เมื่อ 23 ต.ค. การ์ดโมเดลบอกว่ารุ่น 2.00 บิตได้คะแนนเท่าโมเดลต้นฉบับ 100% ใน AIME25, GPQA-Diamond และ LiveCodeBench v6 ส่วน Strata ตัวติดตั้งคลิกเดียวรองรับชุดนี้ตั้งแต่ 24–25 ต.ค. และวัดได้ 4–11 tok/s บนการ์ด 12GB แต่การวัดของ Strata เองพบว่า perplexity ของรุ่น 2.00 บิตเพิ่มขึ้น 15.5% ตอนนี้ llama.cpp ยังรันไฟล์ชุดนี้ไม่ได้ และคอนเท็กซ์ที่ผ่านการทดสอบมีแค่ 8K
Strata (MIT) คือตัวติดตั้งคลิกเดียวพร้อมเอนจินที่แตกโมเดล MoE Qwen3.8-Flash-Next 125B ไปไว้บน GPU, RAM และ SSD ให้รันได้บนการ์ด 12 GB กับ RAM 32–64 GB โดย README วัดได้ 94 tok/s บน RTX 5070 และเปิด API แบบ OpenAI/Anthropic ให้ Claude Code หรือ Codex ใช้ได้ทันที โพสต์บน Hacker News เมื่อ 4 ต.ค. ได้ 569 คะแนน แต่ความเร็วนี้แลกมากับควอนต์ 2–3 บิต และมีผู้ทดสอบพบว่างานด้านภาพแม่นยำแย่กว่า llama.cpp ราว 3 เท่า