โมเดลเดียวกัน 9 harness ต่างกัน 17 เท่าในค่าใช้จ่ายต่องานที่ผ่าน — แต่ครึ่งหนึ่งของโจทย์ในเบนช์มาร์กนี้ทุก harness ได้ผลเท่ากันหมด

วันที่ 2 ก.ย. 2026 มีโปรเจกต์ชื่อ FrontierHarness Eval ขึ้น Show HN พร้อมพาดหัวที่ตรงประเด็นที่สุดที่วงการ coding agent ค้างคาอยู่ตอนนี้: “9 harness, โมเดลเดียวกัน, ต้นทุนต่องานที่ผ่านต่างกัน 17 เท่า” — คือมันล็อกโมเดลไว้ตัวเดียว (Kimi K3) แล้วเปลี่ยนเฉพาะ harness คือชั้นซอฟต์แวร์ที่ห่อโมเดลไว้ ตัวที่จัดการลูป ทูล คอนเท็กซ์ และการแคช

คำถามนี้สำคัญขึ้นมากในสัปดาห์นี้ เพราะกรณี curl 8.22.0 ที่สตาร์ตอัปเล็ก ๆ หา CVE เจอหกตัวด้วยการ “ห่อ harness รอบโมเดลที่มีอยู่แล้ว” และการที่ Google ปล่อย Gemini 3.8 Flash Cyber มาคู่กับ harness ชื่อ CodeMender แทนที่จะปล่อยโมเดลเปล่า ล้วนชี้ไปทางเดียวกัน คือ harness เป็นตัวแปรที่มีน้ำหนักเทียบเท่าหรือมากกว่าการเลือกโมเดล FrontierHarness คือความพยายามแรก ๆ ที่จะวัดมันเป็นตัวเลข และที่สำคัญคือมันเผยแพร่ ข้อมูลดิบทั้งชุด ออกมาด้วย — ซึ่งเมื่อเปิดอ่าน จะพบสามอย่างที่หน้าเว็บไม่ได้เขียนไว้

ตัวเลขที่ได้ และตัวเลขที่ต้องอ่านคู่กัน

การทดลองคือ 30 โจทย์ × 12 คอนฟิก = 360 การรัน โจทย์มาจาก Terminal-Bench 21 ข้อ และ DeepSWE (datacurve) 9 ข้อ ทุกการรันใช้ Kimi K3 และเริ่มจาก checkpoint เดียวกัน — หน้าเว็บเขียนไว้ว่า “All 360 trials start from the same fresh checkpoint restore. Formal tasks were never run early, preventing warm-cache bias.” ซึ่งเป็นการควบคุมที่ทำถูกและหาได้ยากในเบนช์มาร์กประเภทนี้

ผลรวมจากไฟล์ results/eval-data.json:

harness	อัตราผ่าน	ผ่าน/30	ต้นทุนต่องานที่ผ่าน	cache hit	โทเคนอินพุตเฉลี่ย
codex	66.7%	20	$3.47	88%	4,700,224
dsh-creator	63.3%	19	$3.28	84%	2,119,233
claude-code	63.3%	19	$18.34	68%	1,903,406
pi-responses	60.0%	18	$2.43	79%	638,339
dsh-ptc	60.0%	18	$4.58	87%	802,528
dsh-standard	60.0%	18	$3.46	86%	2,109,079
oh-my-pi	56.7%	17	$4.75	82%	2,009,006
kimi-code	56.7%	17	$3.65	88%	3,395,606
dsh-minimal	56.7%	17	$4.72	85%	4,790,827
exo	53.3%	16	$1.05	70%	375,126
opencode	50.0%	15	$3.24	78%	153,533
hermes	50.0%	15	$2.90	86%	1,805,810

ตัวเลข 17 เท่ามาจาก $18.34 ÷ $1.05 และสิ่งที่น่าสนใจกว่าคือ ช่องอัตราผ่านแคบมาก — ห่างกันแค่ 50.0% ถึง 66.7% หรือ 5 โจทย์จาก 30 ข้อ ขณะที่ช่องต้นทุนกว้าง 17 เท่า นี่คือสารหลักของงานนี้และมันถูก: ถ้าคุณเลือก harness ผิด คุณไม่ได้เสียความสามารถมากนัก แต่เสียเงินมหาศาล

ที่ต้องอ่านคู่กันคือ โทเคนอินพุตไม่ใช่ต้นทุน codex ใช้โทเคนอินพุตเฉลี่ย 4.7 ล้าน มากกว่า claude-code ที่ 1.9 ล้านถึง 2.5 เท่า แต่จ่ายถูกกว่า 5.3 เท่าต่องานที่ผ่าน ตัวแปรที่อธิบายคือ cache hit rate (88% กับ 68%) — และหน้าเว็บเองก็เตือนไว้ตรง ๆ ว่า “Cache hit rate is not cost. A cached 300-turn failure can still burn more than a short cache miss.”

สามอย่างที่อยู่ในข้อมูลดิบแต่ไม่อยู่บนหน้าเว็บ

หนึ่ง — หนึ่งการรันต่อหนึ่งช่อง ไม่มีการรันซ้ำ 360 = 30 × 12 พอดี และในไฟล์ผลลัพธ์ ทุกโจทย์มี completed: 12 เท่ากันหมด แปลว่าแต่ละคู่ (โจทย์, คอนฟิก) ถูกรันครั้งเดียว ไม่มีการวัดความแปรปรวน ไม่มี error bar ทั้งที่งานเอเจนต์เป็นงานสุ่มโดยธรรมชาติ ระยะห่างระหว่างที่หนึ่งกับที่โหล่คือ 5 ผลลัพธ์จาก 30 — บนการรันครั้งเดียว ระยะห่างขนาดนี้อยู่ในช่วงที่ noise อธิบายได้สบาย ๆ

สอง — ครึ่งหนึ่งของโจทย์ไม่แยกแยะอะไรเลย นับจากช่อง successful ของแต่ละโจทย์: 12 โจทย์จาก 30 ผ่านครบทั้ง 12 คอนฟิก และอีก 3 โจทย์ไม่มีคอนฟิกไหนผ่านเลย (kv-store-grpc, largest-eigenval, scc-bounded-memory-spilling) รวมเป็น 15 โจทย์ที่ให้ข้อมูลเป็นศูนย์ อันดับทั้งตารางถูกตัดสินบน โจทย์ที่เหลือ 15 ข้อ เท่านั้น เมื่อรวมกับข้อหนึ่ง — 15 โจทย์ที่แยกแยะได้ รันข้อละครั้ง — ตารางอันดับนี้ควรอ่านเป็น “สัญญาณ” ไม่ใช่ “การจัดอันดับ”

สาม — ตัวเลข 17 เท่าขึ้นกับว่าเลือกคอลัมน์ไหน ไฟล์ผลลัพธ์มีคอลัมน์ต้นทุนสามคอลัมน์ และให้คำตอบคนละแบบ:

• effective_cost_per_pass → $1.05 (exo) ถึง $18.34 (claude-code) = 17 เท่า ← ตัวที่ใช้พาดหัว
• cost_per_success_normalized → $0.12 (opencode) ถึง $4.58 (claude-code) = 38 เท่า และผู้ชนะเปลี่ยนตัว
• median_cost_per_success_normalized → $0.061 (opencode) ถึง $0.288 (claude-code) = 4.7 เท่า

ชุดข้อมูลเดียวกัน ให้ได้ทั้ง 4.7 เท่า 17 เท่า และ 38 เท่า ขึ้นกับว่านับค่ากลางหรือค่าเฉลี่ย และนับแบบ normalized หรือไม่ การที่มัธยฐานให้ 4.7 เท่าแต่ค่าเฉลี่ยให้ 17-38 เท่า บอกว่า ความต่างส่วนใหญ่มาจากงานหางยาวไม่กี่งานที่ระเบิด ไม่ใช่ต้นทุนที่สูงกว่ากันอย่างสม่ำเสมอทุกงาน

ทำไม Claude Code ถึงออกมาเป็นตัวแพงสุด — และทำไมต้องระวังการอ่านตัวเลขนั้น

ตัวเลข $18.34 ของ claude-code โดดจากทุกตัวมาก (อันดับสองคือ $4.75) และมีสองสัญญาณในข้อมูลดิบที่ชี้ว่าอาจไม่ใช่ “Claude Code แพงกว่า 17 เท่า” ตรง ๆ

สัญญาณแรก: ช่อง cache_hit_rate_normalized ของ claude-code อยู่ที่ 25% ขณะที่ทุกตัวที่เหลืออยู่ระหว่าง 92-99% นี่ไม่ใช่ความต่างเชิงองศา แต่เป็นความต่างเชิงระดับ และมันคือช่องที่ป้อนเข้าการคำนวณต้นทุนแบบ normalized โดยตรง

สัญญาณที่สอง: ช่อง termination_anomalies ทั้งชุดมี 52 ครั้งจาก 360 (14.4%) ซึ่งไม่ได้เขียนไว้ที่ไหนบนหน้าเว็บ และ 10 ครั้งในนั้นเป็นของ claude-code ตัวเดียว (33% ของการรัน) เทียบกับ exo และ oh-my-pi ที่มีตัวละ 1 ครั้ง ตัวอย่างที่บล็อกของ Runta ยกมาเองก็สอดคล้อง — งานหนึ่งที่ Pi จบใน 90 เทิร์นด้วย $2.50 ส่วน Claude Code ใช้ 381 เทิร์นเป็นเงิน $64.36 ขณะที่ค่าเฉลี่ยเทิร์นของ claude-code ทั้งชุดคือ 49 เทิร์น คือรันนั้นหลุดออกไปไกลจากพฤติกรรมปกติมาก

การรันที่ไม่จบอย่างสะอาดหนึ่งในสามครั้ง บวกกับ cache accounting ที่ต่างจากตัวอื่นสี่เท่า อ่านได้เป็นปัญหาการต่อเชื่อม harness เข้ากับระบบวัดพอ ๆ กับที่อ่านได้ว่าเป็นคุณสมบัติของ harness เอง และเวอร์ชันที่ทดสอบคือ Claude Code v2.1.237 กับ Codex v0.148.0 ส่วนข้อมูลถูก generate ไว้ตั้งแต่ 22 ส.ค. 2026 (ช่อง generated_at) คือ 11 วันก่อนขึ้น Show HN — ในสนามที่ harness ออกเวอร์ชันใหม่กันรายสัปดาห์ นี่นานพอที่ผลจะเปลี่ยน

สิ่งที่ควรบันทึกอีกอย่างคือ ใครเป็นคนวัด: งานนี้สนับสนุนโดย Runta ซึ่งอธิบายตัวเองว่าเป็น “agent execution layer designed for token efficiency, secret protection, and governed access” — คือขายเรื่องประสิทธิภาพโทเคน และเบนช์มาร์กนี้เลือกแกนหลักเป็นต้นทุนต่องานที่ผ่าน รันบนโครงสร้างพื้นฐานของ Runta เอง โดยบล็อกของ Runta พาดหัวว่า “Pi is on the Pareto” และยก Pi เป็น “Balanced Pick” ไม่ได้แปลว่าตัวเลขผิด — ข้อมูลดิบเปิดให้ตรวจซึ่งเป็นเรื่องดีมาก — แต่แปลว่าการเลือกแกน การเลือกคอลัมน์ที่ขึ้นพาดหัว และการเลือกโจทย์ ไม่ใช่การเลือกที่เป็นกลางโดยอัตโนมัติ (รีโปที่เผยแพร่ข้อมูลนี้สร้างเมื่อ 31 ส.ค. และ ยังไม่มีไฟล์ LICENSE ซึ่งควรแก้ ถ้าตั้งใจให้คนอื่นเอาข้อมูลไปวิเคราะห์ต่อ)

มุมมอง AI Curator

สิ่งที่งานนี้ทำสำเร็จ ไม่ใช่การบอกว่า harness ไหนดีที่สุด แต่คือการเปลี่ยนคำถามที่ทีมควรถาม ตลอดปีที่ผ่านมาคำถามคือ “ใช้โมเดลไหนดี” งานนี้แสดงว่าเมื่อล็อกโมเดลไว้แล้ว ตัวแปรที่เหลือยังกว้างพอที่จะเปลี่ยนบิลได้ 17 เท่าโดยที่ความสามารถแทบไม่ขยับ — และนั่นคือตัวแปรที่แทบไม่มีทีมไหนวัดเลย เพราะทุกคนมัวแต่เปรียบเทียบโมเดล

สำหรับทีมไทย ผมจะสรุปให้ใช้งานได้จริงแบบนี้: อย่าเอาตารางนี้ไปเลือก harness แต่เอาวิธีการไปทำซ้ำ เหตุผลคือช่วงอัตราผ่าน 50-67% บนโจทย์ Terminal-Bench ภาษาอังกฤษ ไม่ได้บอกอะไรเกี่ยวกับโค้ดเบสของคุณ และครึ่งหนึ่งของโจทย์ในชุดนี้ทุกตัวได้เท่ากันหมด สิ่งที่ทำซ้ำได้และคุ้มมากคือขั้นตอน: เลือกงานจริงในทีมสัก 20-30 งานที่รู้คำตอบแล้ว รันด้วย harness สองสามตัวบนโมเดลเดียวกัน แล้ววัดสามอย่าง — ผ่านไหม, จ่ายไปเท่าไร, และจบสะอาดหรือไม่ ช่อง termination_anomalies คือช่องที่คนมักไม่วัด ทั้งที่มันคือช่องที่ทำให้บิลระเบิด

ประเด็นที่กระทบกระเป๋าคนไทยตรงที่สุดคือ ความต่างอยู่ที่หางไม่ได้อยู่ที่ค่ากลาง — มัธยฐานต่างกัน 4.7 เท่า แต่ค่าเฉลี่ยต่างกัน 17-38 เท่า แปลว่างานส่วนใหญ่ราคาใกล้กัน แล้วมีไม่กี่งานที่เอเจนต์วนไม่จบและกินเงินทั้งเดือนไปในคืนเดียว ทีมที่จ่ายค่า API เป็นดอลลาร์จากงบที่ตั้งเป็นบาท ควรตั้ง hard cap ต่อ task (จำนวนเทิร์นสูงสุด งบสูงสุดต่องาน timeout) ก่อนจะไปนั่งเลือก harness ด้วยซ้ำ เพราะ cap ป้องกันเคส $64 ได้ทันที ขณะที่การเปลี่ยน harness ป้องกันไม่ได้เลยถ้าไม่มี cap

และข้อสังเกตสุดท้ายที่ผมคิดว่าสำคัญที่สุด: สิ่งที่ทำให้เบนช์มาร์กนี้มีค่าไม่ใช่พาดหัว แต่คือการที่เขาปล่อย JSON ดิบออกมา ทุกข้อวิจารณ์ในโพสต์นี้ — การรันครั้งเดียวต่อช่อง, 15 โจทย์ที่ไม่แยกแยะ, ตัวเลขที่เปลี่ยนตามคอลัมน์, termination anomaly ที่กระจุกอยู่ที่ตัวเดียว — อ่านได้จากไฟล์ที่เขาเผยแพร่เองทั้งหมด นี่ตรงข้ามกับเบนช์มาร์กภายในที่มีแต่กราฟไม่มีตัวเลขซึ่งเราเห็นกันบ่อยขึ้นเรื่อย ๆ ในเดือนนี้ เบนช์มาร์กที่วิจารณ์ได้ยังดีกว่าเบนช์มาร์กที่สวยกว่าแต่ตรวจไม่ได้เสมอ — และมาตรฐานขั้นต่ำที่วงการควรเรียกร้องคือข้อมูลดิบ ไม่ใช่ความสมบูรณ์แบบของวิธีวัด

แหล่งข่าว

• FrontierHarness Eval — ผลการทดลองและตารางเปรียบเทียบ (v1.0)
• frontier-harness-eval/eval — ข้อมูลดิบและนิยามโจทย์บน GitHub
• Runta — Introducing FrontierHarness Eval (1 ก.ย. 2026)
• Show HN: FrontierHarness Eval — 9 harness, same model, cost per pass varies 17x (2 ก.ย. 2026)