Bespoke Nimble: สูตรเปิดทั้งชุดสำหรับทำ Jev เอง — 66.4% → 90.1% ด้วยข้อมูล 2,676 แถวที่สร้างจากการแก้ข้อเท็จจริงทีละคำให้คำตอบพลิก

18 ก.ย. 2026 เวลา 16:49 UTC — สองวันหลังTypeSafe เปิด Jev แบบ waitlist ไม่บอกสถาปัตยกรรม Bespoke Labs ปล่อยของที่ Jev ไม่ได้ให้: สูตรทั้งชุด — ข้อมูลเปิด โมเดลเปิด และวิธีทำเปิด ใช้ชื่อว่า Bespoke Nimble

repo bespokelabsai/nimble สร้างเมื่อ 18 ก.ย. 09:07 UTC และโมเดล bespokelabs/Bespoke-Nimble-9B ขึ้น Hugging Face ตั้งแต่ 01:18 UTC วันเดียวกัน คำโปรยในบรรทัดแรกของ README ตรงไปตรงมา: “Data, Model, Recipe for an open Jev” และประโยคสำคัญที่ตามมาคือคำปฏิเสธ — “Note that we did not distill from Jev.” ทีมใช้ Jev เป็นตัว ประเมินผล เท่านั้น ไม่ใช่ครู

ของที่ได้จริง: LoRA 165 MiB ไม่ใช่โมเดลใหม่ทั้งก้อน

ต้องอ่านให้ชัดก่อนว่า Bespoke-Nimble-9B ไม่ใช่โมเดลเทรนใหม่ มันคือ LoRA adapter ขนาดราว 165 MiB ที่ต้องวางทับ checkpoint ฐาน Qwen/Qwen3.5-9B ซึ่ง repo ปักหมุด revision ไว้ชัด (c202236...) และไม่ได้ทำสำเนาน้ำหนักฐานมาด้วย

เรื่องไลเซนส์ตรงนี้เข้าท่า — ทั้งสองชั้นเป็น Apache-2.0: adapter บน Hugging Face ระบุ Apache-2.0 และ Qwen/Qwen3.5-9B ที่เป็นฐานก็ Apache-2.0 เช่นกัน จึงไม่มีกับดัก “โมเดลเปิดที่ต้องพึ่งตัวปิด” แบบที่เราเคยเจอในหลายเคส แต่มีจุดที่ควรรู้: repo บน GitHub ยังไม่มีไฟล์ LICENSE (คืน 404 ณ เวลาที่ตรวจ) — คือน้ำหนักชัดว่า Apache-2.0 แต่สถานะของ “โค้ดเทรนกับโค้ด curate ข้อมูล” ยังไม่ถูกระบุอย่างเป็นทางการ ถ้าคุณจะเอาไปใช้เชิงพาณิชย์ นี่คือช่องที่ควรถามก่อน

ข้อกำหนดการรัน: น้ำหนัก 9B แบบไม่ quantize กินราว 18 GB ก่อนนับหน่วยความจำตอนรัน ขั้นตอน merge รันบน CPU และต้องการ RAM เพิ่ม README แนะนำ Mac ที่มี 64 GB มากกว่าเครื่อง 24 GB ฝั่ง Linux ต้องเป็น NVIDIA ที่รองรับ BF16 บน Mac ใช้ MLX ได้ (แต่ MLX runner โหลดโฟลเดอร์ LoRA ตรง ๆ ไม่ได้ ต้อง merge ก่อน และไม่รองรับน้ำหนัก quantize)

contrastive data curation: เปลี่ยนข้อเท็จจริงหนึ่งอย่าง ให้คำตอบพลิก

นี่คือส่วนที่เป็นของใหม่จริง ๆ ในงานนี้ และเป็นเหตุผลที่โพสต์นี้เขียนถึงมันแทนที่จะนับเป็นแค่ “อีกหนึ่ง clone”

โจทย์ที่ทีมตั้ง: โมเดลแบบนี้ต้องคืน ความน่าจะเป็นที่ calibrate แต่ทีมไม่มีความน่าจะเป็นจากครู (ไม่มีทั้ง teacher model และมนุษย์ที่ให้ค่ามา) แล้วจะบังคับให้ logits ตรงกับความเป็นจริงได้อย่างไร

คำตอบของ Bespoke Labs คือ ไม่ต้องสอนความน่าจะเป็นเลย แต่สอนให้แยกแยะ — เขียนตัวอย่างเป็น คู่ที่เกือบเหมือนกันทุกอย่าง ต่างกันที่ข้อเท็จจริงสำคัญหนึ่งจุด และความต่างนั้นทำให้คำตอบที่ถูกต้องพลิกข้าง คำถามเดิม นโยบายเดิม บริบทเดิม เปลี่ยนแค่คำเดียว ตัวอย่างจาก README:

หลักฐาน	ตัวอย่างแรก	ตัวอย่างที่แก้
ใครอนุมัติการคืนเงินได้	มีแต่ Mira ที่อนุมัติการคืนเงินของบัญชี 42 ได้	เหมือนเดิม
บันทึกการอนุมัติ	การอนุมัติเดียวของการคืนเงินนี้บนบัญชี 42 ลงนามโดย Mira	ลงนามโดย Noah
การคืนเงินนี้ได้รับอนุมัติหรือไม่	true	false

ผลคือ calibration เกิดขึ้นโดยปริยาย — ข้อมูลเทรนไม่ต้องมีความน่าจะเป็นติดมาเลย โมเดลเรียนว่าหลักฐานชิ้นไหนควรทำให้การตัดสินใจเปลี่ยน แทนที่จะเรียนว่าควรตอบเลขอะไร ทีมใช้ไอเดียนี้กับทั้งสาม primitive (Choice, Noul, Score) ผ่านไปป์ไลน์ 4 ขั้นที่เริ่มจากการตรวจกฎการตัดสินใจใน schema กับ policy

ผู้เขียนโพสต์เองระบุว่า “ยังไม่ได้ทำ ablation แต่คิดว่านี่คือชิ้นส่วนที่สำคัญ” — ซึ่งเป็นคำที่ควรอ่านตามตัวอักษร คือยังไม่มีหลักฐานเชิงทดลองว่าส่วนไหนของสูตรเป็นตัวสร้างผล

ฝั่งการเสิร์ฟ ทีมอ้างอิงคำอธิบายของ Niels Rogge เรื่องวิธี decode ของ Jev: prefill KV-cache ด้วย context กับ schema ครั้งเดียว แล้วอ่าน logit ของโทเคนที่สนใจ บน Mac ตัว ParallelScorer ประมวลผล context ร่วมรอบเดียวแล้วให้คะแนนทุกฟิลด์ขนาน ส่วน CUDA scorer ให้คะแนนทีละฟิลด์ด้วย prompt เต็มทุกครั้ง — คือบน Mac เร็วกว่าเชิงโครงสร้าง ไม่ใช่แค่ต่างฮาร์ดแวร์

ตัวเลข และสิ่งที่ตัวเลขไม่ได้บอก

บน 324 ตัวอย่าง held-out:

	ความตรงกับป้ายอ้างอิง
Qwen3.5-9B (base)	66.4%
Bespoke-Nimble-9B	90.1%
Jev 1.13.0	93.2%

ความเร็ว: 100 ms บน H100 และทีมบอกว่ารันบน MacBook ได้ฟรี ข้อมูลเทรนคือ 2,676 ตัวอย่างที่ curate เอง เป็น synthetic ทั้งหมด ครอบคลุม 10 หมวด ใช้เวลาสร้างรวม “2 วันของการทำแบบเปิด”

คำเตือนที่ทีมเขียนเองและเราคิดว่าเป็นประโยคสำคัญที่สุดในหน้านั้น: “ข้อควรระวังใหญ่คือไม่มีเบนช์มาร์กมาตรฐานที่วัดความสามารถนี้ได้ และเป็นไปได้ว่า Nimble แย่กว่า Jev มากบนเบนช์มาร์กอื่น แต่มันควรจะดีกว่า Qwen” — แปลว่า 90.1 vs 93.2 เป็นตัวเลขบน eval ที่ทีมนี้ curate เอง ไม่ใช่สนามกลาง และ README ก็ย้ำว่า “อย่าคาดหวัง generalization มาก” เพราะข้อมูลมาจาก 10 หมวดเฉพาะ

ข้อจำกัดเชิงเทคนิคที่ระบุไว้ชัด และควรเช็กก่อนคิดจะใช้:

• ข้อความเท่านั้น — ถึงโมเดลฐานจะมีส่วน vision ก็ใช้ไม่ได้
• schema ต้องแบน ไม่มีฟิลด์ซ้อน แต่ละฟิลด์เป็น enum หรือ boolean; enum มีได้ 1–26 ตัวเลือก
• prompt ไม่เกิน 2,048 โทเคน รวม schema — เกินแล้วปฏิเสธ ไม่ตัดทิ้ง
• แต่ละฟิลด์ถูกให้คะแนนแยกกัน ฟิลด์หนึ่งมองไม่เห็นคำตอบของอีกฟิลด์ โค้ดของคุณต้องตรวจความสอดคล้องกันเอง
• ความน่าจะเป็นไม่ใช่การรับประกัน — scale ให้รวมเป็น 1 บนตัวเลือกที่คุณส่งมาเท่านั้น 0.9 ไม่ได้แปลว่าถูก 90% ของเวลา ถ้าเป็นไปได้ว่าไม่มีตัวเลือกไหนเหมาะ ให้เพิ่มตัวเลือกที่แปลว่า “ไม่ตรงข้อไหน”
• ยังไม่ได้จูน temperature — ค่าเริ่มต้นคือ 1.0 ทั้งสอง scorer

สนามที่แน่นขึ้นในสามวัน

Nimble ไม่ได้อยู่ลำพัง ภายในสามวันหลัง Jev เปิดตัว มีอย่างน้อยสี่โครงการที่เดินสายเดียวกัน แต่ละตัวเลือกจุดยืนต่างกันชัดเจน:

• vinnylarouge/jevlike (16 ก.ย.) — ตัวแรกสุด MIT เปิดทั้งโค้ดเทรนและ checkpoint พร้อมเดโม Doom กับหมากรุก และระบุเองว่าไม่ได้พิสูจน์ว่าคุณภาพเท่า Jev
• daseinlabs/open-jev (17 ก.ย., 38 ดาว) — one-pass option scoring บน Gemma 3 4B ยังไม่มีไฟล์ไลเซนส์
• openjev.com → เปลี่ยนชื่อเป็น SemIf — ขึ้นหน้าแรก Hacker News วันที่ 18 ก.ย. ด้วย 631 คะแนน รันโมเดลในเบราว์เซอร์ล้วน ๆ ผ่าน WebGPU ให้เลือกระหว่าง Qwen3 0.6B / MiniCPM5 2B / Qwen3.5 4B แล้ววัดสองวิธีเทียบกันบน GPU ของผู้ใช้เอง ตอนนี้หน้าเว็บขึ้นข้อความว่า “Formerly called OpenJev. Not affiliated with or endorsed by TypeSafe. No infringement is intended.” — ตัวเลขที่หน้าเว็บโชว์คือ Qwen3.5 4B ได้ 84.5% บน subset สาธารณะ 102 แถว เทียบกับ Jev ที่เผยแพร่ไว้ 88.3%
• convaiinnovations/laya (18 ก.ย.) — เดินคนละทางสถาปัตยกรรม ใช้ encoder ModernBERT/mmBERT ขนาด 421M/322M แทน decoder และรองรับหลายภาษา

มุมมอง AI Curator

สิ่งที่ Bespoke Labs ทำน่าสนใจกว่าที่หัวข้อข่าวจะจับได้ เพราะของที่ปล่อยจริง ๆ ไม่ใช่โมเดล — LoRA 165 MiB ที่เทรนบนข้อมูล 2,676 แถวใน 10 หมวด ไม่มีใครควรเอาไป deploy ตรง ๆ และทีมก็บอกเองว่าอย่าคาดหวัง generalization ของจริงที่ปล่อยคือ สูตร และการตอบคำถามที่ถูกข้อหนึ่ง: ถ้าคุณอยากได้โมเดลตัดสินใจที่คืนความน่าจะเป็นตรงกับความจริง แต่ไม่มีครูที่ให้ความน่าจะเป็นมาได้ คุณทำยังไง

คำตอบ “เขียนคู่ตัวอย่างที่ต่างกันหนึ่งข้อเท็จจริงจนคำตอบพลิก” เป็นคำตอบที่เรียบและทำซ้ำได้ด้วยมือ ซึ่งสำคัญกว่าตัวเลข 90.1 มาก เพราะมันทำให้คลาสโมเดลนี้เข้าถึงได้ทันทีสำหรับทีมที่มีข้อมูลโดเมนของตัวเองแต่ไม่มีงบ RL สังเกตว่าทั้ง Laya และ Nimble มาถึงเป้าหมายเดียวกัน — probability ที่ไว้ใจได้ — ด้วยวิธีคนละขั้ว: Laya ใช้ RL กับ strictly proper scoring rule เพื่อทำให้การโกหกความมั่นใจไม่คุ้ม ส่วน Nimble ไม่แตะฟังก์ชัน loss เลยแต่ไปจัดข้อมูลแทน ตอนนี้ยังไม่มีใครวัดสองวิธีนี้บนสนามเดียวกัน และนั่นคืองานวิจัยที่ควรมีคนทำภายในสัปดาห์หน้า

สำหรับทีมไทย มุมที่ใช้ได้ทันทีคือ contrastive pair ไม่ต้องการโมเดลใหญ่มาสร้าง มันต้องการคนที่รู้กฎธุรกิจของตัวเอง — นโยบายคืนเงิน เงื่อนไขอนุมัติสินเชื่อ เกณฑ์ส่งต่อเคสประกัน ล้วนเป็นของที่เขียนคู่ “ต่างกันหนึ่งข้อเท็จจริงจนคำตอบพลิก” ได้จากเอกสารที่มีอยู่แล้ว 2,676 แถวคือปริมาณที่ทีมสามคนทำเสร็จในสัปดาห์เดียว ไม่ใช่โครงการประจำปี และข้อดีของสูตรนี้เทียบกับการ fine-tune ด้วย label ธรรมดาคือมันสอนขอบของการตัดสินใจ ไม่ใช่สอนค่าเฉลี่ย

สิ่งที่เราจะไม่ทำคือเชื่อตัวเลข 90.1 vs 93.2 ในฐานะการจัดอันดับ ทีมเองบอกว่าไม่มีเบนช์มาร์กมาตรฐานสำหรับงานนี้ และ eval ทั้งชุดเป็นของที่ทีมเดียวกันเป็นคน curate ขึ้น การที่โมเดลของคุณชนะบนข้อสอบที่คุณออกเองเป็นเรื่องปกติจนไม่ต้องตกใจ ช่องว่างที่แท้จริงในสัปดาห์นี้จึงไม่ใช่ “ใครเก่งกว่า Jev” แต่คือ ยังไม่มีใครสร้างเบนช์มาร์กกลางสำหรับ System One Models เลย ทั้งที่มีของมาแข่งกันสี่ตัวแล้ว ใครทำอันนั้นสำเร็จจะมีอิทธิพลต่อทิศทางของคลาสโมเดลนี้มากกว่าคนที่ปล่อยน้ำหนักตัวถัดไป

แหล่งข่าว

• bespokelabsai/nimble — GitHub (README + methodology)
• bespokelabs/Bespoke-Nimble-9B — Hugging Face (Apache-2.0 LoRA adapter)
• โพสต์ประกาศของ Mahesh Sathiamoorthy (Bespoke Labs) — 18 ก.ย. 16:49 UTC
• SemIf (เดิมชื่อ OpenJev) — เดโมรันในเบราว์เซอร์