ข้ามไปยังเนื้อหา

แท็ก

#inference-engine

2 บทความ

ถ้าโมเดลอยากยึดเครื่องที่รันมันเอง มันไม่ต้องแฮ็กอะไรเลย — แค่พ่นโทเคนให้ parser ของ vLLM เป็นคนทำแทน
งานวิจัย

ถ้าโมเดลอยากยึดเครื่องที่รันมันเอง มันไม่ต้องแฮ็กอะไรเลย — แค่พ่นโทเคนให้ parser ของ vLLM เป็นคนทำแทน

25 ส.ค. 2026 บทความจาก boydkane.com ตั้งโจทย์ที่ถูกมองข้าม — inference engine อย่าง vLLM และ SGLang ต้อง parse ผลลัพธ์ที่โมเดลพ่นออกมาให้เป็น tool call ซึ่งทำให้ parser กลายเป็น attack surface ที่โมเดลเข้าถึงได้โดยตรง หลักฐานว่ามันไม่ใช่เรื่องสมมติคือ CVE-2025-9141 ช่องโหว่ RCE ระดับ CVSS 8.8 ใน tool parser ของ Qwen3-Coder ที่ vLLM ใช้ eval() กับค่าพารามิเตอร์

· อ่าน 6 นาที
WASTE: รัน Kimi K3 ตัวเต็ม 2.78 ล้านล้านพารามิเตอร์บนโน้ตบุ๊ก 64GB ด้วยการสตรีม expert จาก NVMe
เครื่องมือนักพัฒนา

WASTE: รัน Kimi K3 ตัวเต็ม 2.78 ล้านล้านพารามิเตอร์บนโน้ตบุ๊ก 64GB ด้วยการสตรีม expert จาก NVMe

เอนจิน inference ภาษา C ที่ไม่มี dependency ใด ๆ รัน Kimi K3 ตัวเต็ม 2.78T พารามิเตอร์บน MacBook Pro 64GB ได้ที่ 0.49–0.54 tok/s โดยเก็บ trunk 27.28GB ไว้ใน RAM แล้วสตรีม expert ที่เหลือจาก NVMe — ช้ามาก แต่พิสูจน์ว่าโมเดลระดับ frontier ไม่จำเป็นต้องอยู่บนเซิร์ฟเวอร์อีกต่อไป

· อ่าน 7 นาที