ข้ามไปยังเนื้อหา

แท็ก

#Self-hosting

1 บทความ

llama.cpp กับ SGLang รองรับ decision model แล้ว: llama.cpp เพิ่ม /v1/systemone พร้อม 5 โมเดลตั้งแต่ 144M ถึง 27B (ตามด้วย Nimble และ Clef) ส่วน SGLang 0.5.21 ใช้ /v1/decisions เปลี่ยน chat model ตัวไหนก็ได้ให้เป็นตัวจำแนก
เครื่องมือนักพัฒนา

llama.cpp กับ SGLang รองรับ decision model แล้ว: llama.cpp เพิ่ม /v1/systemone พร้อม 5 โมเดลตั้งแต่ 144M ถึง 27B (ตามด้วย Nimble และ Clef) ส่วน SGLang 0.5.21 ใช้ /v1/decisions เปลี่ยน chat model ตัวไหนก็ได้ให้เป็นตัวจำแนก

2 ต.ค. 2026 llama.cpp merge endpoint /v1/systemone ซึ่งใช้รูปแบบ System One เดียวกับ Jev ของ TypeSafe มี GGUF ให้ 5 ตัว (Julia-1, Laya, Kev-4B, lev, OpenJev) และ Clef ตามมาบน master ในวันที่ 3 ต.ค. วันเดียวกัน SGLang v0.5.21 ออก /v1/decisions ที่อ่านความน่าจะเป็นของคำตอบจาก chat model ทั่วไปได้โดยตรง พร้อม route /v1/systemone ที่เข้ากันได้กับ SDK ของ TypeSafe

· อ่าน 6 นาที