แท็ก

#MTP

3 บทความ

llama.cpp กับ SGLang รองรับ decision model แล้ว: llama.cpp เพิ่ม /v1/systemone พร้อม 5 โมเดลตั้งแต่ 144M ถึง 27B (ตามด้วย Nimble และ Clef) ส่วน SGLang 0.5.21 ใช้ /v1/decisions เปลี่ยน chat model ตัวไหนก็ได้ให้เป็นตัวจำแนก
เครื่องมือนักพัฒนา

llama.cpp กับ SGLang รองรับ decision model แล้ว: llama.cpp เพิ่ม /v1/systemone พร้อม 5 โมเดลตั้งแต่ 144M ถึง 27B (ตามด้วย Nimble และ Clef) ส่วน SGLang 0.5.21 ใช้ /v1/decisions เปลี่ยน chat model ตัวไหนก็ได้ให้เป็นตัวจำแนก

2 ต.ค. 2026 llama.cpp merge endpoint /v1/systemone ซึ่งใช้รูปแบบ System One เดียวกับ Jev ของ TypeSafe มี GGUF ให้ 5 ตัว (Julia-1, Laya, Kev-4B, lev, OpenJev) และ Clef ตามมาบน master ในวันที่ 3 ต.ค. วันเดียวกัน SGLang v0.5.21 ออก /v1/decisions ที่อ่านความน่าจะเป็นของคำตอบจาก chat model ทั่วไปได้โดยตรง พร้อม route /v1/systemone ที่เข้ากันได้กับ SDK ของ TypeSafe

· อ่าน 6 นาที
Nex-N2.5-Pro ปล่อยน้ำหนักแล้ว 407 GB แบบ FP8 — config ตรงกับ Qwen3.5-397B-A17B ทุกค่าสถาปัตยกรรม แต่ไม่มีเลเยอร์ MTP ที่ config ยังประกาศไว้
โมเดลใหม่

Nex-N2.5-Pro ปล่อยน้ำหนักแล้ว 407 GB แบบ FP8 — config ตรงกับ Qwen3.5-397B-A17B ทุกค่าสถาปัตยกรรม แต่ไม่มีเลเยอร์ MTP ที่ config ยังประกาศไว้

น้ำหนัก Nex-N2.5-Pro ขึ้น Hugging Face ครบ 122 shard เมื่อ 10 ก.ย. เวลา 19:01 UTC และกล่อง coming soon ถูกถอดออกเช้า 11 ก.ย. — เป็น FP8 ล้วน 407.1 GB ใต้ Apache-2.0 เว็บ Nex-AGI ระบุฐานเป็น Qwen3.5-397B-A17B ซึ่ง config ยืนยันทุกค่า แต่ไฟล์ไม่มีเทนเซอร์ MTP เลยสักตัว ทั้งที่ config ยังตั้ง mtp_num_hidden_layers เป็น 1

· อ่าน 5 นาที
llama.cpp ผสาน Multi-Token Prediction — speculative decoding ในตัวที่เร่ง inference โลคอลเกิน 2 เท่า กระเพื่อมทั้งระบบนิเวศ GGUF
เครื่องมือนักพัฒนา

llama.cpp ผสาน Multi-Token Prediction — speculative decoding ในตัวที่เร่ง inference โลคอลเกิน 2 เท่า กระเพื่อมทั้งระบบนิเวศ GGUF

llama.cpp ผสาน PR #22673 เพิ่ม Multi-Token Prediction (MTP) speculative decoding เข้า master ทำให้โมเดลทำนายหลายโทเคนต่อรอบ เร่ง throughput เกิน 2 เท่าบนฮาร์ดแวร์ผู้บริโภค และส่งผลต่อทั้งระบบนิเวศที่สร้างบน llama.cpp

· อ่าน 4 นาที