Underdog Saluki 27B: บีบ Qwen3.8-27B เหลือไฟล์ GGUF 2-bit ขนาด 7.89 GB รันบน llama.cpp ปกติ ทำ tool calling ได้ 88/120 สูงกว่าโมเดลเต็ม (84) แต่คณิตศาสตร์ตกเหลือราว 82–85%

ทีม Underdog บริษัทที่ทำแอปบนโมเดลโอเพนซอร์ส ปล่อย Underdog Saluki 27B 1.0 เป็น Qwen3.8-27B แบบ 2-bit ในไฟล์ GGUF ไฟล์เดียว ขนาด 7.89 GB (โมเดลเต็มราว 54 GB) และโหลดใน llama.cpp ตัวมาตรฐาน ได้โดยไม่ต้องคอมไพล์อะไรเพิ่ม บล็อกเปิดตัวลงวันที่ 7 ต.ค. 2026 repo บน Hugging Face ขึ้นวันที่ 8 ต.ค. และมีคนโหลดไปแล้วเกือบ 6 หมื่นครั้ง ใน 3 วัน (บวก GGUF ที่ชุมชนทำต่ออีกหลายตัว)

ที่ทำให้น่าสนใจกว่า quant ทั่วไปคือ Underdog ไม่ได้พยายามรักษาทุกความสามารถไว้เท่ากัน แต่ปรับให้ tool calling แทบไม่เสียเลย ซึ่งเป็นสิ่งที่เอเจนต์ใช้มากที่สุด ผลคือในชุดทดสอบของบริษัทเอง Saluki ทำ tool calling ได้ สูงกว่าโมเดลเต็ม แม้บริษัทจะเตือนเองว่าส่วนต่างนั้นอาจเป็นแค่ความผันผวนระหว่างรอบ ส่วนที่ยอมเสียคือคณิตศาสตร์ระดับแข่งขัน

ตัวเลขหลัก (Underdog รันเอง)

ทุกโมเดลรันด้วย harness และค่าตั้งเดียวกัน แต่ละตัวรันบน runtime ของมันเอง โดย Saluki ใช้ llama.cpp

การทดสอบ	Saluki 7.89 GB	Qwen3.8-27B เต็ม (~54 GB)
Underdog Bench (tool calling, 120 ข้อจาก BFCL v4, ปิด thinking)	88	84
Parallel tool calls (100 ข้อ, ตรวจแบบเข้ม)	42	35
SWE-bench Verified (50 issue)	30	33
IFEval (prompt-loose)	93.5	91.5 (ตัวเลขสาธารณะ)
AIME 2025 (avg@4)	79.2	96.7 (ตัวเลขสาธารณะ)
MuSR	67.5	79.6 (ตัวเลขสาธารณะ)

รายละเอียดอื่นที่ควรรู้:

• Underdog Bench มีงาน 5 ประเภท ประเภทละ 24 ข้อ บริษัทคัดและล็อกชุดคำถามไว้ตั้งแต่ 27 ก.ย. ก่อนจะทดสอบโมเดลใดๆ Saluki เด่นที่สุดตรง “เลือกฟังก์ชันให้ถูก” ได้ 47 จาก 48 ข้อในสองหมวดแรก
• เทียบกับ 2-bit ตัวอื่น: Mia 2-bit (EXL3, 9.1 GB) ได้ 85, ISTA 2-bit IQ2_XS (8.4 GB) ได้ 76, Ternary Bonsai 2 (5.95 GB) ได้ 70 บิลด์ภายในชื่อ “Main” ได้ 91 แต่ไม่ได้ปล่อย เพราะท่อง web ได้แย่กว่า (WebWalkerQA 48/150 เทียบกับ Saluki 60/150)
• parallel tool calls ยังไม่ใช่จุดแข็ง Mia นำขาดที่ 69 ส่วน Saluki ราว 1 ใน 5 ของคำตอบแบบหลาย call มี format เพี้ยนเล็กน้อย ถ้าใช้ parser ที่ยืดหยุ่นขึ้นจะผ่าน 55 จาก 100 ข้อ
• ในงาน coding agent Saluki ยังแก้ได้ 27 จาก 33 ข้อ ที่โมเดลเต็มแก้ได้

วิธีรัน

Saluki ต่อยอดจาก Qwen3.8-27B-GSQ-RCO-GGUF ของ ISTA-DASLab ซึ่งใช้วิธี quantize แบบไม่สม่ำเสมอ คือเลือกระดับ precision ต่อ tensor ตามความอ่อนไหวของแต่ละตัว Underdog ปรับต่อจากตรงนั้น “to keep tool calling intact” แต่ยังไม่เปิดเผยขั้นตอนการเทรน โดยบอกว่าเป็น preview checkpoint และจะเผยแพร่รายละเอียดภายหลัง

huggingface-cli download ConwayResearch/Underdog-Saluki-27B-1.0 \
  Underdog-Saluki-27B-1.0-IQ2-mix.gguf --local-dir .
llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --jinja -ngl 99 -fa on -c 32768

• ต้องใส่ --jinja เพื่อใช้ chat template ของ Qwen3.8 ที่จัดการ tool call และ thinking เซิร์ฟเวอร์จะเปิด OpenAI chat API ที่พอร์ต 8080
• ถ้าต้องการ tool call ที่เร็ว ให้ปิด thinking ด้วย "chat_template_kwargs": {"enable_thinking": false} และตั้ง temperature 0 ถ้าใช้งานทั่วไปให้เปิด thinking ที่ temperature 0.6
• บล็อกเปิดตัวเขียนว่าเวอร์ชันนี้ “doesn’t take images” แต่ model card ที่อัปเดตทีหลัง (10 ต.ค.) มีไฟล์ mmproj สำหรับภาพให้แล้ว (F16 928 MB หรือ Q8_0 629 MB) ใส่ผ่าน --mmproj
• Underdog บอกว่ารันได้บน โน้ตบุ๊ก 16 GB ส่วนบน GPU ไฟล์ 7.89 GB ใส่การ์ด 12 GB ได้พร้อมเหลือที่ให้ KV cache ตามสมควร
• สัญญาอนุญาต Apache-2.0 ทั้งตัวมันและสองโมเดลฐาน (Qwen3.8-27B และ GSQ-RCO GGUF ของ ISTA)

มุมมอง AI Curator

ประเด็นสำคัญของ Saluki ไม่ใช่ตัวเลข 88 กับ 84 Underdog เองก็บอกว่า 120 ข้อเป็นชุดทดสอบเล็ก และไม่ได้อ้างว่าเก่งกว่าตัวต้นฉบับ ประเด็นคือมันทำให้ quantization กลายเป็นการเลือกว่าจะเก็บความสามารถไหนไว้ แทนที่จะพยายามรักษาค่าเฉลี่ยของทุก benchmark Saluki ยอมเสีย AIME ไปราว 15 คะแนน เพื่อรักษาการเลือก tool ให้แม่นที่สุด สำหรับคนที่สร้างเอเจนต์ นี่เป็นการแลกที่คุ้ม เพราะเอเจนต์ส่วนใหญ่ไม่ได้ต้องแก้โจทย์โอลิมปิก แต่ต้องเลือกฟังก์ชันให้ถูกจากหลายสิบตัว

สำหรับนักพัฒนาไทยที่อยากรันเอเจนต์บนเครื่องตัวเอง ไม่ว่าจะเพราะข้อมูลลูกค้าห้ามออกนอกองค์กร หรือเพราะค่า API เป็นเงินดอลลาร์ โมเดลระดับ 27B ที่ใส่ RTX 4070/3060 12GB หรือ MacBook 16GB ได้และยังเรียก tool ได้ดี ถือว่าลดกำแพงลงมาก แต่มีสองข้อที่ควรระวัง ข้อแรก ตัวเลขทั้งหมดมาจาก Underdog เองซึ่งมีแอปของตัวเองต้องขาย และวิธีเทรนยังไม่เปิดเผย ข้อสอง ชุดทดสอบเป็นภาษาอังกฤษทั้งหมด การบีบเหลือ 2-bit มักกระทบภาษาที่มีข้อมูลน้อยกว่าก่อน ภาษาไทยจึงอาจเสียมากกว่าที่ตารางนี้บอก ก่อนใช้ใน production ควรลองกับ tool schema และ prompt ภาษาไทยของงานจริงอย่างน้อยสักร้อยเคส

แหล่งข่าว

• Underdog Saluki 27B 1.0 — model card บน Hugging Face
• Meet Underdog Saluki 27B — บล็อกเปิดตัว (7 ต.ค. 2026)
• Qwen3.8-27B GSQ-RCO GGUFs — ISTA-DASLab (โมเดลฐาน 2-bit)