Ollaya — "Ollama สำหรับโมเดลตัดสินใจ" รัน Laya, Kev, Qwen3Guard ในเครื่องผ่าน API เดียวกับ TypeSafe ตอบใน 8–10 ms บน RTX 4090 พร้อม MCP server และ preset ตรวจคำสั่งของ agent

สิบวันหลังจาก TypeSafe เปิดตัว Jev ซึ่งเป็นโมเดลที่ไม่สร้างข้อความ แต่คืนค่าเป็นคำตอบตาม schema พร้อมความน่าจะเป็น ชุมชนโอเพนซอร์สก็ปล่อยโมเดลแนวเดียวกันออกมาหลายตัว เช่น Laya, Kev และ CLM-8B ชิ้นที่ยังขาดคือ ตัวรันในเครื่องแบบเดียวกับที่ Ollama ทำให้ LLM ตอนนี้ Ollaya มาเติมช่องนั้นแล้ว

รีโป ollaya-dev/ollaya (Rust, Apache-2.0) ถูกสร้างเมื่อ 23 ก.ย. 22:11 UTC และขึ้นหน้าแรก Hacker News เมื่อ 25 ก.ย. 18:33 UTC ได้ 473 คะแนน ระหว่าง 25 ก.ย. 12:19 UTC ถึง 26 ก.ย. 08:34 UTC ผู้พัฒนาออกรีลีส 5 เวอร์ชัน ตั้งแต่ v0.5.0 ถึง v0.7.1 ซึ่งเพิ่มแอปเดสก์ท็อป การรองรับ Windows แบบ native, GPU ของ NVIDIA บน Windows และ GPU ของ Mac ผ่าน MLX

ใช้งานอย่างไร

curl -fsSL https://ollaya.dev/install.sh | sh
ollaya run laya --preset triage "I was charged twice for my subscription this month and want a refund."

คำสั่งชุด run, pull, list, ps, show, rm, create เหมือน Ollama และมี Modelfile ให้ฝังชุดคำถามไว้ในโมเดลของตัวเองได้ จุดขายหลักคือความเข้ากันได้: endpoint /v1/systemone, /v1/decisions และ /v1/models เป็น “wire-identical to TypeSafe” ตั้ง TYPESAFE_BASE_URL=http://localhost:11435 แล้ว SDK ทางการของ TypeSafe ใช้กับเครื่องตัวเองได้ทันที

โมเดลในคลังตอนนี้มี laya (ตัว router ที่ตรวจภาษาแล้วส่งต่อให้ laya:en ขนาด 421M หรือ laya:multilingual ขนาด 322M), kev ขนาด 0.8B/4B/9B, decider ของ Mapika, von 1.1, qwen3guard 0.6B สำหรับจัดระดับความปลอดภัยใน 119 ภาษา, ตัวจำแนก NLI และ GLiClass รวมถึง winnow ซึ่งเป็น fine-tune ของ Gemma 4 ที่รันจากไฟล์ GGUF ผ่าน llama.cpp

ข้อดีด้านความปลอดภัยของซัพพลายเชน: Ollaya เผยแพร่เฉพาะกราฟ ONNX ขนาดราว 3 MB ส่วนน้ำหนักโมเดลดึงจากรีโป Hugging Face ของผู้เขียนโดยตรง “pinned to a commit and verified by sha256” และ “Ollaya never re-hosts weights” ผู้พัฒนาอ้างว่า export แบบ fp32 ให้คำตอบตรงกับ PyTorch ต้นฉบับครบ 100% จาก 2,383 คำถามต่อเช็กพอยต์

ตัวเลขความเร็ว — อ่านอย่างระวัง

• เว็บไซต์เทียบ “8–10 ms Laya on Ollaya RTX 4090, five questions” กับ “236–276 ms TypeSafe Jev Hosted API” แต่ก็เขียนเองว่าเงื่อนไขการวัดต่างกัน ให้อ่านเป็นการเทียบระดับ order of magnitude เท่านั้น เพราะฝั่งหนึ่งรันในเครื่อง อีกฝั่งวิ่งผ่านเครือข่าย และคุณภาพของโมเดลก็ไม่เท่ากัน
• v0.7.1 บน Mac mini M4 Pro: laya:en ลดจาก 265 ms (CPU) เหลือ 114 ms (Apple GPU), laya:multilingual จาก 115 เหลือ 42 ms
• v0.7.0 บน RTX 4090 ใน Windows: laya:en fp16 ได้ค่ากลาง 12.7 ms ต่อห้าคำถามผ่าน HTTP
• ข้อจำกัด: RTX 50-series (Blackwell, sm_120) ยังใช้ GPU ไม่ได้ เพราะ ONNX Runtime ที่ลิงก์ไว้ไม่มี kernel สำหรับ sm_120 ตั้งแต่ v0.6.1 จึงถอยไปใช้ CPU แทนการ error ส่วน Linux ต้องใช้ glibc 2.38 ขึ้นไป (Ubuntu 24.04+)

สำหรับ agent: MCP server กับ preset “ควรรันคำสั่งนี้ไหม”

v0.4.0 เพิ่ม ollaya mcp ต่อเข้า Claude Code ได้ด้วย claude mcp add ollaya -- ollaya mcp พร้อมสกิล ollaya-decisions ที่สอน agent ว่าเมื่อไรควรใช้การตัดสินใจแบบ typed แทนการคิดเป็นข้อความ ส่วน v0.6.0 เพิ่ม --preset agent ที่ถามสี่คำถามกับคู่ “คำขอของผู้ใช้ + คำสั่ง” คือ run/ask/block, ตรงกับงานไหม, ความเสี่ยง และเป็นคำสั่งทำลายหรือไม่ ตัวอย่างในบันทึกรีลีส: คำขอ “แก้คำผิดใน README” คู่กับ git push --force origin main ถูก decider:2b บล็อก (block 0.53, destructive 0.90) ในราว 180 ms

ฝั่งเฟรมเวิร์กก็ขยับตาม Pydantic AI v2.50.0 (25 ก.ย.) เพิ่ม DecisionModel เป็นคลาสฐานสำหรับ “Decisions-protocol models” และย้าย TypeSafeModel มาอยู่ใต้คลาสนี้ ใช้เลือก route ตามชื่อได้ และปล่อย span decide ให้ทุก request

มุมมอง AI Curator

ความเร็วของเรื่องนี้น่าสนใจกว่าตัวเครื่องมือ ภายในสิบวัน แนวคิดที่เริ่มจากสตาร์ตอัปเดียวซึ่งยังเปิดแค่ waitlist มีโมเดลเปิดอย่างน้อยห้าตระกูล มีตัวรันในเครื่อง และมีการรองรับในเฟรมเวิร์ก agent หลัก เส้นทางแบบเดียวกับที่ LLM ใช้เวลาเป็นปี (โมเดลเปิด → Ollama → LangChain) ถูกย่อเหลือไม่ถึงสองสัปดาห์ API ที่ TypeSafe ออกแบบกลายเป็นมาตรฐานโดยพฤตินัย แต่รายได้อาจไหลไปที่อื่น เพราะคนย้ายออกได้ด้วยการเปลี่ยนตัวแปรเดียว

ในทางปฏิบัติ งานที่เหมาะคือ งานคัดแยกปริมาณมาก เช่น ticket ลูกค้า อีเมล และการกลั่นกรองความคิดเห็น ซึ่งถ้าใช้ LLM เต็มตัวจะแพงและช้า สำหรับทีมไทย จุดที่น่าลองคือ laya:multilingual ซึ่งในการทดสอบของผู้สร้างเองภาษาไทยเป็นภาษาที่ดีขึ้นมากที่สุด และรันบน CPU ได้ในระดับร้อยมิลลิวินาที ข้อมูลลูกค้าจึงไม่ต้องออกนอกเครื่อง ช่วยเรื่อง PDPA ได้โดยตรง

แต่ต้องระวังสองเรื่อง ข้อแรก โปรเจกต์นี้อายุ สามวัน และออกเวอร์ชันทุกไม่กี่ชั่วโมง ยังไม่ควรเอาไปวางในเส้นทางสำคัญของ production ข้อสอง --preset agent เป็นแนวคิดที่ดีในฐานะ ด่านกรองชั้นแรกที่ถูกและเร็ว แต่ความมั่นใจ 0.53 ในการบล็อก git push --force บอกชัดว่ายังใช้แทนการตรวจสิทธิ์จริงหรือ sandbox ไม่ได้

แหล่งข่าว

• ollaya-dev/ollaya — GitHub (README, Apache-2.0)
• Ollaya releases v0.4.0–v0.7.1
• ollaya.dev
• Pydantic AI v2.50.0 — DecisionModel