Ornith-1.5: โมเดลโค้ดดิ้งโอเพนเวต MIT ที่ "คิดโจทย์ฝึกให้ตัวเอง" — เรือธง 397B ตีเสมอ Claude Opus 4.8 ส่วนรุ่น 35B ใช้พารามิเตอร์แค่ 3B ต่อโทเคน

เมื่อวันที่ 18 สิงหาคม 2026 ทีม Ornith (จาก DeepReinforce) อัปโหลด Ornith-1.5 ขึ้น Hugging Face ภายใต้ลิขสิทธิ์ MIT ครบสามขนาดพร้อมกัน — 9B Dense, 35B-A3B (MoE) และ 397B (MoE) — พร้อมไฟล์ควอนไทซ์ครบชุดตั้งแต่วันแรก ทั้ง GGUF, FP8, NVFP4 และ MLX (4/6/8-bit) ตัวเรือธง 397B ทำ Terminal-Bench 2.1 ได้ 86.1 ซึ่งอยู่ในระดับเดียวกับ Claude Opus 4.8 (85.0) และโพสต์ประกาศขึ้นหน้าแรก Hacker News เมื่อวันที่ 19 สิงหาคม

แต่เรื่องที่น่าสนใจกว่าตัวเลขคือ วิธีที่มันถูกฝึก เราเคยเขียนถึง Ornith-1.0 เมื่อ 26 มิถุนายน ที่จุดขายคือโมเดล “ออกแบบ agent scaffold ของตัวเอง” ระหว่างขั้น RL — Ornith-1.5 ดันแนวคิดนี้ไปอีกขั้นหนึ่ง: โมเดลไม่ได้แค่ออกแบบวิธีแก้โจทย์เอง แต่คิดตัวโจทย์ที่จะใช้ฝึกตัวเองขึ้นมาเองด้วย

จาก “scaffold ของตัวเอง” สู่ “หลักสูตรของตัวเอง”

Ornith-1.0 ยังใช้ชุดโจทย์ที่มนุษย์คัดมา แล้วให้โมเดลเรียนรู้ที่จะสร้าง harness/scaffold ที่ดีที่สุดสำหรับโจทย์นั้น Ornith-1.5 ตัดข้อจำกัดนั้นทิ้ง — ลูปการฝึกตอนนี้ optimize สามอย่างพร้อมกัน: การสร้างโจทย์ (task generation), การสร้าง scaffold (harness) และ solution rollout

หัวใจอยู่ที่ สัญญาณ reward สามตัวที่คูณกัน สำหรับโจทย์ที่โมเดลคิดขึ้นมาเอง:

• Validity (V) — โจทย์กับ scaffold ต้องประกอบกันเป็น “สภาพแวดล้อมการเรียนรู้ที่นิยามได้จริง”: scaffold ต้องรันได้ และตัววัดผลต้องตรงกับสเปกของโจทย์ โจทย์ที่พังจะได้ reward เป็นศูนย์ทันที
• Frontier Difficulty (D) — วัดอัตราสำเร็จจริงจาก rollout หลายรอบ แล้วให้ reward สูงสุดกับโจทย์ที่โมเดลทำได้สำเร็จราว 20% พูดง่าย ๆ คือระบบบังคับให้โจทย์ยาก “พอดี ๆ” อยู่ที่ขอบความสามารถเสมอ และเมื่อโมเดลเก่งขึ้น โจทย์ก็ถูกดันให้ยากขึ้นอัตโนมัติ
• Novelty (N) — เทียบโจทย์ใหม่กับบัฟเฟอร์ของโจทย์เก่า เพื่อกันไม่ให้ลูปวนสร้างโจทย์เดิมซ้ำ ๆ ในรูปแบบที่ต่างกันนิดหน่อย

ที่ควรสังเกตเป็นพิเศษคือ ตัว harness เองก็ถูกให้ reward ตามความสอดคล้องกับโจทย์ ความแม่นของการให้คะแนน และ “ความทนทานต่อ evaluator ที่พัง, ทางลัด และพฤติกรรม reward-hacking” — นี่คือการยอมรับตรง ๆ ว่าระบบที่ให้โมเดลออกโจทย์และตรวจข้อสอบเองมีความเสี่ยงจะโกงตัวเอง แล้วพยายามใส่ตัวถ่วงเข้าไปในสูตร reward

ผลลัพธ์คือสิ่งที่ทีมเรียกว่า “หลักสูตรที่ขยายตัวเองได้” — ไม่ต้องมีวิศวกรมานั่งป้อนโจทย์ใหม่ให้เรื่อย ๆ

ตัวเลข: 397B ตีเสมอ Opus 4.8 บนงานเอเจนต์บางตัวถึงกับแซง

ตารางเบนช์มาร์กจาก model card ของ 397B (เฉลี่ยจาก 5 รอบอิสระ) เทียบกับคู่แข่งหลัก:

เบนช์มาร์ก	Ornith-1.5-397B	Claude Opus 4.8	GLM-5.2 (753B)	DeepSeek-V4-Flash (284B)	Kimi K3 (2.8T)
Terminal-Bench 2.1 (Terminus-2)	86.1	85.0	81.0	82.7	88.3
Terminal-Bench 2.1 (Claude Code)	85.2	78.9	82.7	81.8	–
SWE-bench Verified	86.0	85.8	83.0	81.6	86.2
SWE-bench Pro	65.1	68.0	62.1	64.4	–
DeepSWE	56.0	59.0	46.2	54.4	67.5
GPQA Diamond	92.8	93.6	91.2	91.4	93.5
MCP-Atlas	80.0	82.2	77.8	74.6	82.3
WideSearch	80.8	72.9	79.0	77.3	–
BrowseComp	86.6	84.3	85.6	84.8	91.2
ClawEval	81.4	80.2	78.8	77.6	–

อ่านตารางนี้ให้ขาดคือ: Ornith-1.5-397B ไม่ได้ชนะขาด — มันแพ้ Opus 4.8 บน SWE-bench Pro, DeepSWE, GPQA และ MCP-Atlas และแพ้ Kimi K3 บน Terminal-Bench/DeepSWE/BrowseComp แต่มันไป เสมอหรือแซงเล็กน้อย บน Terminal-Bench, SWE-bench Verified, WideSearch และ ClawEval ในขณะที่เป็น โอเพนเวต MIT ที่มีขนาดเพียง 1/7 ของ Kimi K3

จุดที่กระโดดชัดที่สุดคือเทียบกับรุ่นก่อนหน้าตัวเอง: Terminal-Bench 77.5 → 86.1, Toolathlon-Verified 43.2 → 71.2, Frontier-Bench v0.1 2.7 → 13.5 และ DeepSWE 8 → 56 ภายในเวลาไม่ถึงสองเดือน

เครดิตอีกข้อที่ควรให้: ทีมเปิดเผย มาตรการกัน reward hacking ในเชิงอรรถอย่างละเอียด — ตอนรัน SWE-bench มีการลบ git history ออกจาก image เพื่อไม่ให้โมเดลไปอ่านคอมมิตเฉลย และ ปิดการเข้าถึงเครือข่าย ส่วน NL2Repo ก็บล็อกการเข้าถึง GitHub repo และ pip package ที่เกี่ยวข้อง ระดับความละเอียดแบบนี้หายากในหมู่ model card ที่ประกาศเบนช์มาร์กสวย ๆ

รุ่นที่ทีมเล็กรันไหวจริง — 35B ที่ active แค่ 3B

สำหรับคนที่ไม่มีคลัสเตอร์ ตัวที่น่าสนใจที่สุดคือ Ornith-1.5-35B-A3B: MoE ขนาด 35B ที่ activate พารามิเตอร์เพียงราว 3B ต่อโทเคน ตัวเลขของมันคือ Terminal-Bench 2.1 67.8, SWE-bench Verified 79.0, SWE-bench Pro 59.6, NL2Repo 46.2

เทียบให้เห็นภาพ: มันเอาชนะ Qwen3.5-397B (SWE-bench Verified 76.4, Terminal-Bench 53.5) ได้ทั้งที่เล็กกว่าสิบเท่า และทิ้ง Qwen3.6-35B-A3B รุ่นพี่น้องขนาดเท่ากัน (Terminal-Bench 52.5) แบบไม่เห็นฝุ่น

ขนาดไฟล์จริงจาก repo GGUF:

• 9B: bf16 ~18.8GB / Q4_K_M 5.6GB — ลงการ์ด 8GB ได้สบาย
• 35B-A3B: bf16 71.1GB / Q4_K_M 21.7GB — พอดีการ์ด 24GB อย่าง RTX 3090/4090 และเพราะ active แค่ 3B จึงเร็วกว่าโมเดล dense ขนาดใกล้กันมาก
• 397B: ~800GB ใน bf16 ต้องใช้ tensor parallel 8 ทาง (เช่น 8× H200 141GB)

รายละเอียดปฏิบัติที่ควรรู้ก่อนลอง: ทุกรุ่นเป็น reasoning model ที่เปิดด้วยบล็อก <think>…</think> ต้องใช้ Transformers ≥ 5.8.1, vLLM ≥ 0.19.1 หรือ SGLang ≥ 0.5.9 และต้องปรับ chat template ของ Qwen ให้ตรงกับที่ทีมให้มา — model card ระบุเรื่องนี้ไว้ชัด เพราะไม่ปรับแล้วผลจะไม่ตรงกับที่รายงาน context window อยู่ที่ 262,144 โทเคน (ขยายได้ถึงราว 1M ด้วย YaRN) นอกจากนี้ repo GGUF ยังแนบไฟล์ mmproj มาด้วย แปลว่ารองรับอินพุตภาพผ่าน llama.cpp ได้

ข้อควรระวังหนึ่งข้อ: model card ของ 9B พูดถึงตัวแปร Ornith-1.5-9B-Mobile สำหรับรันบนมือถือ แต่ ณ เวลาที่เขียน ยังไม่มี repo นั้นบน Hugging Face — ใครรอใช้บนอุปกรณ์ปลายทางต้องรออีกหน่อย

มุมมอง AI Curator

สิ่งที่ควรจับตาใน Ornith-1.5 ไม่ใช่ว่ามัน “เสมอ Opus 4.8” — โมเดลโอเพนเวตตีเสมอโมเดลปิดบนเบนช์มาร์กบางตัวเป็นเรื่องที่เกิดถี่ขึ้นเรื่อย ๆ ตลอดปีนี้ สิ่งที่ควรจับตาคือ มันตีเสมอด้วยข้อมูลฝึกที่ตัวเองสร้างขึ้นมา ถ้าลูป task-generation นี้ทำงานได้จริงอย่างที่รายงาน มันแตะข้อจำกัดที่ทุกคนพูดถึงกันมาสองปี — ว่าข้อมูลคุณภาพสูงกำลังจะหมด และคูเมืองของแล็บใหญ่คือคลังโจทย์ที่มนุษย์คัดมาอย่างแพง Ornith เดิมพันว่าคูเมืองนั้นถมได้ด้วยสูตร RL ที่ฉลาดพอ

แต่นั่นคือจุดที่ต้องระวังที่สุดเช่นกัน ระบบที่ ออกข้อสอบเอง ตรวจข้อสอบเอง แล้วให้คะแนนตัวเอง คือนิยามของสภาพแวดล้อมที่ reward hacking เกิดง่ายที่สุด ทีมรู้ตัวและใส่ตัวถ่วง (reward ให้ harness ที่ทนต่อทางลัด, ลบ git history, ปิดเน็ต) — ซึ่งน่าชม — แต่ตัวถ่วงพวกนี้ยังตรวจสอบโดยคนนอกไม่ได้ เพราะสิ่งที่ปล่อยออกมาคือ น้ำหนักโมเดล ไม่ใช่โค้ดของลูปการฝึกหรือชุดโจทย์ที่มันสร้าง สังเกตด้วยว่าตัวเลขทุกตัวยังเป็น self-reported และเบนช์มาร์กที่กระโดดแรงที่สุด (DeepSWE 8 → 56) แรงจนน่าตั้งคำถามว่าเกิดจากความสามารถที่แท้จริงหรือจากการปรับ harness ให้เข้ากับรูปแบบข้อสอบ — รอผลรันซ้ำจาก Artificial Analysis หรือชุมชนก่อนปักใจ

สำหรับนักพัฒนาไทยและทีมใน SEA ข่าวนี้มีมูลค่าใช้งานจริงที่ 35B-A3B มากกว่าที่เรือธง โมเดลที่ให้ SWE-bench Verified 79 บนการ์ด 24GB ใบเดียว ลิขสิทธิ์ MIT แปลว่า coding agent แบบ on-prem ที่ข้อมูลลูกค้าไม่ต้องออกนอกองค์กร กลายเป็นเรื่องที่ทีม 5 คนทำได้ด้วยงบระดับเครื่องเวิร์กสเตชันเครื่องเดียว — ไม่ใช่ระดับสัญญาคลาวด์รายปี และในบริบทที่โมเดลระดับท็อปจากสหรัฐฯ ถูกจำกัดการเข้าถึงด้วยมาตรการส่งออกและราคาต่อโทเคนยังผูกกับค่าเงิน การมีทางเลือกที่รันเองได้ในราคาไฟฟ้าคือความยืดหยุ่นเชิงยุทธศาสตร์ ไม่ใช่แค่การประหยัด

ข้อสังเกตสุดท้ายที่นักพัฒนาควรเก็บไว้คิด: Ornith ทั้งสองรุ่นตั้งอยู่บนสมมติฐานว่า งานออกแบบ harness และงานคัดโจทย์ กำลังถูกดูดเข้าไปอยู่ในน้ำหนักโมเดล ถ้าเทรนด์นี้จริง มูลค่าของ agent framework ที่ขาย “โครง” สำเร็จรูป (และของทีมที่ลงแรงกับ prompt engineering แบบ hard-code) จะถูกกดลงเรื่อย ๆ สิ่งที่ยังมีค่าคือชั้นที่โมเดลสร้างเองไม่ได้ — การเชื่อมกับระบบภายในองค์กร ข้อมูลเฉพาะโดเมน และการกำกับดูแล

แหล่งข่าว

• Ornith-1.5: From Self-Scaffolding to Self-Improvement — Ornith blog
• ornith-ai/Ornith-1.5-397B — Hugging Face (model card + ตารางเบนช์มาร์ก)
• ornith-ai/Ornith-1.5-35B-A3B — Hugging Face
• ornith-ai/Ornith-1.5-9B — Hugging Face