แท็ก

#SSD offload

2 บทความ

colibri v1.11 รัน DeepSeek-V4.1-Flash 552B บนเครื่อง CPU โดยสตรีม expert จาก SSD ได้ราว 1 โทเคน/วินาที — เอนจินภาษา C 30,000 ดาวที่ยอมช้า แต่ไม่ยอมแอบเปลี่ยนโมเดล

13 ก.ย. colibri เอนจินอินเฟอเรนซ์ภาษา C ใต้ Apache-2.0 ที่มีดาวบน GitHub กว่า 30,000 ดวง ออก v1.11.0 ที่เพิ่ม DeepSeek-V4.1-Flash 552B เป็นตระกูลที่เก้า อ่าน checkpoint 510 GB ตรง ๆ โดยไม่ต้องแปลง ตารางวัดแบบ cold ในเอกสารแสดงว่าเทิร์นหนึ่งเร็วขึ้นจาก 0.305 เป็น 0.957 tok/s และแชตห้าเทิร์นได้ 1.14–1.58 tok/s — ทีมยังเขียนบันทึกไว้ด้วยว่าไอเดียไหนวัดแล้วช้าลงจนต้องถอดออก และตัวเลขที่เคยวัดผิดมาจากอะไร

14 ก.ย. 2569 · อ่าน 6 นาที

เครื่องมือนักพัฒนา

Edge0 รันโมเดล MoE 35B บน Mac ด้วยหน่วยความจำ 2.9 GiB โดยสตรีม expert จาก SSD — แต่ runtime ตัดจำนวน expert ต่อโทเคนจาก 8 เหลือ 4 และผู้ใช้ M1 วัดได้ช้ากว่าตัวเลขที่ประกาศราว 30 เท่า

edge0 เฟรมเวิร์ก Apache-2.0 ที่เปิดตัว 8 ก.ย. และยังติดเทรนด์อันดับ 3 บน Hugging Face รัน Qwen3.5-35B-A3B แบบ 4 บิตบน Mac mini M4 Pro ได้ 14.9–17.7 tok/s โดยใช้หน่วยความจำ 2.9 GiB ด้วยการสตรีม expert จาก SSD, prerouter ที่เดาเส้นทางล่วงหน้า และ LoRA กู้คุณภาพหลัง quantize — แต่ซอร์สโค้ดตั้ง top_k=4 ขณะที่ config ของโมเดลเป็น 8, คะแนนฐาน fp16 ที่รันเองต่ำกว่าตัวเลขทางการของ Qwen และ issue จากผู้ใช้ M1 8 GB วัดรุ่น 8B ได้แค่ 0.7–0.8 tok/s

14 ก.ย. 2569 · อ่าน 7 นาที