แท็ก

#KV Cache

3 บทความ

Cloudflare เปิดเผย GLM-5.3 บน Workers AI ส่งข้อมูลของผู้ใช้คนอื่นปนมาใน 155 response — prompt ยาวเกิน KV pool ของ prefill ทำให้ SGLang แบบ disaggregated อ่าน KV page ค้างเก่า แนะนำผู้รัน SGLang อัปเกรดเป็น v0.5.22
เครื่องมือนักพัฒนา

Cloudflare เปิดเผย GLM-5.3 บน Workers AI ส่งข้อมูลของผู้ใช้คนอื่นปนมาใน 155 response — prompt ยาวเกิน KV pool ของ prefill ทำให้ SGLang แบบ disaggregated อ่าน KV page ค้างเก่า แนะนำผู้รัน SGLang อัปเกรดเป็น v0.5.22

Cloudflare และทีม SGLang เปิดเผยพร้อมกันเมื่อ 26 ต.ค. 2026 ว่าระหว่าง 27 ส.ค.–9 ก.ย. โมเดล GLM-5.3 บน Workers AI ตอบ prompt ที่ยาวเกิน 681,280 token โดยมีข้อมูลจาก request ของลูกค้าคนอื่นปนมา รวม 155 response สาเหตุคือ context window ที่ตั้งไว้ 1M ใหญ่กว่า KV pool ของ prefill และบั๊กใน SGLang โหมด prefill/decode แยกเครื่อง ที่ปล่อย request ซึ่งถูก reject แล้วให้ผ่านไปถึง decode ได้ แก้แล้วใน SGLang v0.5.20–v0.5.22

· อ่าน 5 นาที
Magnitude — inference engine ในเครื่องที่จูน kernel บนฮาร์ดแวร์ของคุณเอง อ้างถอดรหัสเร็วกว่า llama.cpp 92% บน Mac แต่ตัวเลขมาจากโมเดลเดียว และฝั่งตัวเองบีบ KV cache เหลือ 8/4 บิต ขณะที่ llama.cpp ใช้ 16 บิต
เครื่องมือนักพัฒนา

Magnitude — inference engine ในเครื่องที่จูน kernel บนฮาร์ดแวร์ของคุณเอง อ้างถอดรหัสเร็วกว่า llama.cpp 92% บน Mac แต่ตัวเลขมาจากโมเดลเดียว และฝั่งตัวเองบีบ KV cache เหลือ 8/4 บิต ขณะที่ llama.cpp ใช้ 16 บิต

30 ก.ย. 2026 Magnitude (YC S25) เปิดตัวบน Hacker News ในฐานะ inference engine แบบ Apache-2.0 เขียนด้วย Rust ที่จูนพารามิเตอร์ของ kernel บนเครื่องผู้ใช้ราว 1 นาทีต่อโมเดล อ้างว่าถอดรหัสเร็วกว่า llama.cpp 92% บน M4 Pro และ 19% บน DGX Spark แต่ทดสอบกับ Qwen3.6 35B-A3B เพียงตัวเดียว รองรับแค่ 15 โมเดลในแคตตาล็อก และยังไม่รองรับหลาย GPU

· อ่าน 5 นาที
DeepSeek-V4.1-Flash เปิดน้ำหนัก MIT ขนาด 552B ที่ใช้พารามิเตอร์แค่ 8B ตอนอ่านอินพุต — KV cache เหลือ 1/4 ราคา API ลด และ deepseek-v4-pro จะถูกส่งมาหาโมเดลนี้แทนตั้งแต่ 14 ก.ย.
โมเดลใหม่

DeepSeek-V4.1-Flash เปิดน้ำหนัก MIT ขนาด 552B ที่ใช้พารามิเตอร์แค่ 8B ตอนอ่านอินพุต — KV cache เหลือ 1/4 ราคา API ลด และ deepseek-v4-pro จะถูกส่งมาหาโมเดลนี้แทนตั้งแต่ 14 ก.ย.

10 ก.ย. DeepSeek ปล่อย V4.1-Flash ขึ้น Hugging Face ใต้ MIT แท้พร้อมเปิดบน API ในวันเดียวกัน เป็น MoE 552B สถาปัตยกรรม Causal Encoder-Decoder ใหม่ที่ใช้พารามิเตอร์ 8B ตอน prefill และ 16B ตอน decode KV cache เหลือ 890 ไบต์ต่อโทเคน คะแนน Terminal-Bench 2.1 สูงกว่า Opus 5 — แต่เบนช์มาร์กที่ยากกว่ายังห่างชัด ไม่มี chat template แบบ Jinja มาให้ และทุกคำขอที่ใช้ชื่อ deepseek-v4-pro จะถูกส่งไปหาโมเดลนี้แทนโดยอัตโนมัติตั้งแต่ 14 ก.ย.

· อ่าน 8 นาที