Jeff — โมเดลตัดสินใจ 0.8B ที่รูปแบบคำขอเข้ากันได้กับ Jev เทรนบน GPU ตัวเดียวในบ้าน ตอบใน 22 ms ค่าเฉลี่ยรุ่น 2B ได้ 83.1 เท่ากับ Jev แต่ยังแพ้ขาดในงานที่ต้องใช้เหตุผล

กระแสโมเดลตัดสินใจที่ตามหลัง Jev ของ TypeSafe มีผลงานใหม่อีกชิ้น คราวนี้มาจากนักพัฒนาอิสระ รีโป firelex/jeff เปิดเมื่อ 28 ก.ย. 2026 และขึ้นหน้าแรก Hacker News ในคืนเดียวกันที่ราว 400 คะแนน ในรีโปมีน้ำหนักสามตัวบน Hugging Face ได้แก่ Jeff-Qwen3.5-0.8B, Jeff-Qwen3.5-2B และ Jeff-Gemma4-E2B ส่ง state กับรายการตัวเลือกที่เขียนเป็นภาษาธรรมดาเข้าไป แล้วได้ ความน่าจะเป็นที่ปรับ calibration แล้วของทุกตัวเลือกจาก forward pass เดียว โดยไม่ต้องสร้างข้อความหรือ parse ผลลัพธ์

ข่าวนี้ต่างจาก Intern-Decision เมื่อวานสองเรื่อง เรื่องแรกคือ ขนาดเล็กมาก รุ่น 0.8B มีน้ำหนักแค่ 1.7 GB และตัดสินใจใน 22 ms บน RTX PRO 6000 หรือ 28 ms บน Apple M4 Max ผ่าน MLX เรื่องที่สองคือ เทรนบนฮาร์ดแวร์ของตัวเองทั้งหมด ใช้ GPU workstation ตัวเดียว รุ่น 0.8B ใช้เวลาเทรนราว 2 ชั่วโมง ส่วนรุ่น 2B ราว 3.5 ชั่วโมง ข้อมูลสังเคราะห์เขียนโดยโมเดลเปิด Qwen3.8-Flash-Next ที่รันบน DGX Spark สองเครื่อง ผู้พัฒนาระบุว่าในข้อมูลเทรนไม่มีเอาต์พุตจากโมเดลปิดเลย มีการใช้โมเดลปิดแค่สุ่มตรวจคุณภาพข้อมูลบางส่วนเท่านั้น

ใช้งานอย่างไร

รูปแบบคำขอเหมือน Jev มีคำถามสามชนิด คือ choice (เลือกหนึ่งจากตัวเลือกได้สูงสุด 255 ตัว), noul (ใช่/ไม่ใช่ ตอบเป็นความน่าจะเป็น) และ score (ค่าบนสเกลที่กำหนดเอง) ถ้ามีหลายคำถามที่ไม่ขึ้นต่อกันก็ส่งรวมในคำขอเดียวได้

uv run hf download mstrasser/Jeff-Qwen3.5-0.8B --local-dir checkpoints/jeff-0.8b
JEFF_CHECKPOINT=checkpoints/jeff-0.8b PORT=8765 uv run jeff-serve
# บน Mac ใช้ MLX (รองรับเฉพาะรุ่น Qwen)
JEFF_BACKEND=mlx JEFF_CHECKPOINT=checkpoints/jeff-0.8b PORT=8765 uv run jeff-serve

endpoint คือ /v1/systemone โค้ดตั้งต้นจากสูตรเปิด AutoJev (MIT) ซึ่งเดิมใช้ fine-tune Qwen3.8-27B ส่วน Jeff ลดขนาดลงมาเป็นโมเดลนักเรียนตัวเล็ก เพิ่ม pipeline สร้างข้อมูลสังเคราะห์บนเครื่อง พร้อมตัวกรองข้อมูลรั่ว และเพิ่มการเสิร์ฟผ่าน MLX ผู้พัฒนาระบุชัดว่า ไม่มีส่วนเกี่ยวข้องและไม่ได้รับการรับรองจาก TypeSafe

ตัวเลข: เก่งการจัดหมวด ยังอ่อนเรื่องเหตุผล

ผลบน 4,599 ข้อจากชุดทดสอบสาธารณะห้าชุด (ตัวเลขของ Jev และ AutoJev มาจากค่าที่ผู้พัฒนาเหล่านั้นเผยแพร่ไว้ ซึ่งวัดบนกลุ่มตัวอย่างคนละชุดกัน)

ชุดทดสอบ	Jeff-0.8B	Jeff-2B	Jeff-Gemma4-E2B	Jev	AutoJev-27B
ค่าเฉลี่ย 5 ชุด	79.1	83.1	81.6	83.0	84.9
Financial PhraseBank	96.4	96.3	96.1	77.0	84.2
RAGTruth	86.1	88.9	87.4	77.3	88.9
WinoGrande	68.6	79.0	77.4	90.7	83.3
BBH	64.0	68.0	66.4	94.3	82.8
JudgeBench	62.6	64.6	60.6	78.6	78.9
JevBench hard (แยกคิด)	47.6	53.3	48.6	73.3	70.3

README สรุปไว้ตรง ๆ ว่าค่าเฉลี่ยของ Jeff มาจากงาน จัดหมวดและตรวจ grounding ส่วนงานที่ต้องใช้เหตุผลอย่าง BBH, JudgeBench และ JevBench ยัง ต่ำกว่าโมเดลใหญ่มาก ตามที่คาดได้จากขนาดนี้

นอกจากนี้ยังมีการทดสอบ zero-shot ด้วยเกม Doom, Frogger และ Pac-Man (20 เกมต่อชุด) รุ่น 0.8B ทำได้ 6.55 kills ใน Doom เท่ากับบอตที่เขียนกฎด้วยมือ และข้าม Frogger ได้ 10.3 ครั้ง แต่ใน Pac-Man ทำได้ 57 จาก 98 เม็ด ขณะที่บอตกฎทำได้ 94.1 ข้อสังเกตที่น่าสนใจคือ รุ่น 2B เล่นเกมแย่กว่ารุ่น 0.8B ทั้งที่คะแนนเบนช์มาร์กสูงกว่า ผู้พัฒนาเขียนว่ารุ่น 2B “ระวังตัวเกินไป” และยังต้องหาสาเหตุต่อ

ข้อควรรู้ก่อนเอาไปใช้

• เป็นตัวจัดหมวด ไม่ใช่ตัววางแผน ต้องเขียนผลลัพธ์ของแต่ละตัวเลือกให้ชัด เช่น “ถ้าเดินไปจะโดนรถชน” ถ้าให้มันพยากรณ์เอง เช่น “อีก 2 ตาจะมีรถมา” ผลออกมาไม่ต่างจากการสุ่ม
• ถ้อยคำมีผลมาก ใน Frogger แค่เขียนตัวเลือกที่พาไปถึงเส้นชัยด้วยคำแบบเดียวกับตัวเลือกเดินหน้าอื่น ๆ ผลในเกมหนึ่งเพิ่มจาก 15 เป็น 23 ครั้ง
• fine-tune ต่อได้เร็ว ตัวอย่างงานสั่งแอปด้วยเสียง ใช้ข้อมูลราว 11k ตัวอย่าง เทรนครึ่งชั่วโมงบน GPU ตัวเดียว ความแม่นบนชุด held-out เพิ่มจาก 31.7% เป็น 95.8%
• รองรับเฉพาะภาษาอังกฤษและข้อความเท่านั้น
• สัญญาอนุญาต: โค้ดเป็น MIT และน้ำหนักเป็น Apache-2.0 (โมเดลฐาน Qwen3.5 และ Gemma 4 ก็เป็น Apache-2.0) แต่ ไม่ได้ปล่อยข้อมูลเทรน และแหล่งข้อมูลบางส่วนเป็น share-alike (CC BY-SA)

มุมมอง AI Curator

เรื่องที่สำคัญกว่าตัวเลขคือ ต้นทุนในการสร้างโมเดลตัดสินใจเฉพาะทางลดลงมาเหลือระดับ “เทรนเองที่บ้านได้” เมื่อต้นเดือนเรายังต้องเรียก API ของ Jev ราว 100–200 ms ต่อครั้ง ตอนนี้มีโมเดล 1.7 GB ที่ตอบใน 22–28 ms บนเครื่องของตัวเอง และ fine-tune กับข้อมูลของเราได้ในครึ่งชั่วโมง สำหรับทีมไทยที่ทำ routing ticket, คัดกรอง content หรือเลือก intent ของแชตบอต นี่คือชิ้นส่วนที่ถูกและเร็วพอจะวางไว้ในทุก request ได้ ข้อมูลไม่ต้องออกนอกเซิร์ฟเวอร์ และช่วยเรื่อง PDPA ด้วย

แต่ต้องอ่านตารางอย่างระวัง คะแนนที่ “ชนะ Jev” ขาดลอยอยู่ที่ Financial PhraseBank และ RAGTruth ซึ่งเป็นงานที่ข้อมูลเทรนของ Jeff ครอบคลุมโดยตรง ใน docs/data-sources.md มี ragtruth_train และชุด sentiment ข่าวการเงินจาก Twitter อยู่ด้วย ถึงผู้พัฒนาจะกรองข้อซ้ำกับชุดทดสอบออกแล้ว คะแนนสองชุดนี้ก็ยังเป็นผลแบบ in-distribution มากกว่า zero-shot จริง ส่วนตัวเลขที่บอกความสามารถทั่วไปได้ตรงกว่าคือ JevBench hard ซึ่งยังห่าง Jev อยู่ 20 จุด อีกข้อที่ชุมชนภาษาไทยต้องทำเองคือ Jeff รองรับแค่ภาษาอังกฤษ แต่เพราะสูตรทั้งหมดเปิด (AutoJev → Jeff) และรันได้บน GPU ตัวเดียว การทำ “Jeff ภาษาไทย” ด้วยข้อมูลสังเคราะห์จากโมเดลเปิดที่เก่งภาษาไทยก็ไม่ใช่โปรเจกต์ใหญ่อีกต่อไป

แหล่งข่าว

• firelex/jeff — GitHub (28 ก.ย. 2026, README พร้อมเบนช์มาร์กและข้อจำกัด)
• mstrasser/Jeff-Qwen3.5-0.8B — Hugging Face (Apache-2.0)
• docs/data-sources.md — แหล่งข้อมูลเทรนและสัญญาอนุญาต
• denis-pplx/autojev — สูตรต้นทาง (MIT)