แท็ก

#Inference Engine

3 บทความ

Magnitude — inference engine ในเครื่องที่จูน kernel บนฮาร์ดแวร์ของคุณเอง อ้างถอดรหัสเร็วกว่า llama.cpp 92% บน Mac แต่ตัวเลขมาจากโมเดลเดียว และฝั่งตัวเองบีบ KV cache เหลือ 8/4 บิต ขณะที่ llama.cpp ใช้ 16 บิต
เครื่องมือนักพัฒนา

Magnitude — inference engine ในเครื่องที่จูน kernel บนฮาร์ดแวร์ของคุณเอง อ้างถอดรหัสเร็วกว่า llama.cpp 92% บน Mac แต่ตัวเลขมาจากโมเดลเดียว และฝั่งตัวเองบีบ KV cache เหลือ 8/4 บิต ขณะที่ llama.cpp ใช้ 16 บิต

30 ก.ย. 2026 Magnitude (YC S25) เปิดตัวบน Hacker News ในฐานะ inference engine แบบ Apache-2.0 เขียนด้วย Rust ที่จูนพารามิเตอร์ของ kernel บนเครื่องผู้ใช้ราว 1 นาทีต่อโมเดล อ้างว่าถอดรหัสเร็วกว่า llama.cpp 92% บน M4 Pro และ 19% บน DGX Spark แต่ทดสอบกับ Qwen3.6 35B-A3B เพียงตัวเดียว รองรับแค่ 15 โมเดลในแคตตาล็อก และยังไม่รองรับหลาย GPU

· อ่าน 5 นาที
halogen 0.12.0: เอนจินที่เขียนเคอร์เนลให้ GPU ตัวเดียวและโมเดลตระกูลเดียว — prefill พรอมต์ 1 ล้านโทเคนบน Strix Halo เหลือ 17.9 นาที จาก 21.2 นาที
เครื่องมือนักพัฒนา

halogen 0.12.0: เอนจินที่เขียนเคอร์เนลให้ GPU ตัวเดียวและโมเดลตระกูลเดียว — prefill พรอมต์ 1 ล้านโทเคนบน Strix Halo เหลือ 17.9 นาที จาก 21.2 นาที

19 ก.ย. 2026 halogen-flash-server ออก 0.12.0 — เอนจิน inference ที่เขียนเคอร์เนลเฉพาะ AMD Strix Halo (gfx1151) กับ Qwen3.8-Flash-Next เท่านั้น รอบนี้รื้อสองเคอร์เนลของ sparse-attention indexer ทำให้พรอมต์ 1,004,581 โทเคน prefill เหลือ 17.9 นาทีและ decode 38 tok/s โดยเอาต์พุตยังเหมือนเดิมบิตต่อบิต — แต่เอนจินเป็นไบนารีปิดใต้ EULA ไม่ใช่โอเพนซอร์ส

· อ่าน 7 นาที
Harvard สาธิตว่าโมเดลระบุได้เองว่ากำลังรันบน vLLM หรือ llama.cpp — แค่สั่งตัวเองพูดซ้ำแล้วนับ แล้วต่อเป็นเชนหลุดจากคอนเทนเนอร์ถึงระดับเฟิร์มแวร์
งานวิจัย

Harvard สาธิตว่าโมเดลระบุได้เองว่ากำลังรันบน vLLM หรือ llama.cpp — แค่สั่งตัวเองพูดซ้ำแล้วนับ แล้วต่อเป็นเชนหลุดจากคอนเทนเนอร์ถึงระดับเฟิร์มแวร์

17 ก.ย. 2026 นักวิจัย Harvard เผยแพร่เปเปอร์ที่แสดงว่าโมเดลสามารถ fingerprint เอนจิน inference ที่รันตัวเองได้ด้วยความแม่นยำ 95% ขึ้นไป โดยอาศัยความต่างของ template และ tokenizer ระหว่าง vLLM, SGLang, llama.cpp, Ollama และ TensorRT-LLM แล้วต่อยอดเป็นเชน exploit สามขั้นจาก eval() ใน vLLM ไปถึงการคุมเครื่องระดับ BMC

· อ่าน 8 นาที