ARC Prize เปิดตารางเต็มของ GPT-6 Astra — โมเดลเดียวกัน เบนช์มาร์กเดียวกัน ได้ 62.7% กับ 99.9% ต่างกันแค่ที่ harness และตัวเลขที่ทุกคนพาดหัวคือตัวหลัง

เมื่อวานนี้เราเขียนถึงการเปิดตัว GPT-6 Astra และตั้งข้อสังเกตว่าตัวเลข ARC-AGI-3 ที่ OpenAI รายงาน (98.6%) มาจาก harness ที่เก็บ reasoning ข้ามเทิร์นและใช้ compaction ขณะที่โมเดลอื่นในกราฟถูกวัดคนละแบบ วันเดียวกันนั้น (3 กันยายน 2026) ARC Prize เผยแพร่ผลทดสอบฉบับของตัวเอง เขียนโดย Greg Kamradt — และมันไม่ใช่แค่ยืนยันข้อสังเกตนั้น แต่เปิดตารางเต็มให้ดูว่าช่องว่างมันกว้างแค่ไหน

ตัวเลขคือ 62.7% กับ 99.9% บนโมเดลตัวเดียวกัน เบนช์มาร์กเดียวกัน ชุดข้อสอบเดียวกัน ต่างกันแค่ชั้นซอฟต์แวร์ที่ห่อโมเดลไว้ ARC Prize เรียกทั้งคู่ว่า state-of-the-art ทั้งคู่ ซึ่งซื่อสัตย์ดี แต่ก็แปลว่าคำถาม “Astra เก่งแค่ไหนบน ARC-AGI-3” ไม่มีคำตอบเดียว

ตารางที่ควรอ่านทั้งตาราง ไม่ใช่แค่ช่องที่ดีที่สุด

ARC Prize รัน Astra บน ARC-AGI-3 Semi-Private ครบ 6 ระดับ reasoning effort x 2 harness = 12 ช่อง ตัวเลขในวงเล็บคือค่าใช้จ่ายรวมของการรันนั้น

reasoning effort	Standard harness	Provider Adapter harness
max	62.7% ($26,098)	98.6% ($17,332)
xhigh	59.3% ($37,317)	98.4% ($18,147)
high	54.8% ($40,705)	99.9% ($18,817)
medium	38.6% ($48,090)	98.4% ($19,285)
low	17.5% ($38,166)	98.0% ($21,298)
none	35.2% ($49,791)	96.7% ($23,457)

ความต่างของสอง harness ตามคำอธิบายของ ARC Prize เอง:

• Standard harness คือ “อินเทอร์เฟซขั้นต่ำที่เป็นกลางต่อผู้ผลิต” โมเดลต้องตัดสินใจเองว่าจะจดอะไรเก็บไว้ในโน้ตที่ มองเห็นได้ แล้วแบกโน้ตนั้นไปตลอดเกม
• Provider Adapter harness เก็บ reasoning state ที่มองไม่เห็น ไว้ระหว่างคำขอ และใช้ compaction จัดการบทสนทนายาว — คือปล่อยให้โมเดลใช้ฟีเจอร์จัดการคอนเท็กซ์ที่ผู้ผลิตออกแบบมาให้ตัวเอง

สิ่งที่ตารางบอกแต่บทความไม่ได้ย้ำ: ในคอลัมน์ Provider Adapter ช่องที่ ปิดการให้เหตุผลทั้งหมด (none) ยังได้ 96.7% ซึ่งสูงกว่าช่องที่ดีที่สุดของ Standard harness (62.7% ที่ max) อยู่ 34 จุด พูดอีกอย่างคือ การเปลี่ยน harness ให้ผลมากกว่าการไล่ระดับความคิดทั้งแกน ตั้งแต่ปิดสนิทไปจนถึงสูงสุด

และในคอลัมน์ Provider Adapter ช่วงคะแนนทั้งหมดกว้างแค่ 3.2 จุด (96.7–99.9) — เมื่อ harness ทำงานแทน การเพิ่ม reasoning effort แทบไม่เปลี่ยนคะแนน แต่ยัง ลดค่าใช้จ่าย ได้จริง ($23,457 ที่ none เหลือ $17,332 ที่ max)

ความผิดปกติสองอย่างในคอลัมน์ที่เป็นกลาง

อ่านคอลัมน์ Standard harness เรียงตามคะแนนจะได้: max 62.7 > xhigh 59.3 > high 54.8 > medium 38.6 > none 35.2 > low 17.5

หนึ่ง — low แย่กว่า none การเปิดให้คิดนิดหน่อยได้ผลแย่กว่าไม่ให้คิดเลยอยู่ 17.7 จุด นี่ไม่ใช่เส้นที่ราบเรียบแบบที่กราฟ “คิดมากขึ้น = เก่งขึ้น” ควรจะเป็น และ ARC Prize ไม่ได้อธิบายมันไว้ ถ้าคุณกำลังจะตั้งค่า reasoning_effort ในโปรดักชันโดยคิดว่ามันเป็นลูกบิดที่หมุนขึ้นแล้วดีขึ้นเสมอ ตัวเลขนี้บอกว่าไม่ใช่

สอง — ค่าใช้จ่ายกลับด้าน ใน Standard harness ช่องที่ได้คะแนนสูงสุดคือช่องที่ ถูกที่สุด ($26,098 ที่ max) ส่วนช่องที่คะแนนต่ำ ๆ กลับแพงเกือบสองเท่า ($49,791 ที่ none) ARC Prize อธิบายเหตุผลไว้ตรงไปตรงมา: เมื่อโมเดลคิดมากขึ้น มันแก้เกมได้ด้วย จำนวน action ที่น้อยลง จำนวนการเรียกโมเดลจึงลดลงตาม ต้นทุนรวมเลยลด — โทเคน reasoning ที่แพงกว่าต่อหน่วยยังถูกกว่าการเดินเกมผิดหลายสิบตา

รวมทั้งตาราง Provider Adapter เร็วกว่าราว 3.66 เท่า เมื่อวัดเวลาที่ใช้จริงรวม และใช้ โทเคนน้อยลง 49% เมื่อเทียบเฉพาะ 167 คู่ (เกม x ระดับ reasoning) ที่ทั้งสอง harness แก้ได้เหมือนกัน — คือถูกกว่า เร็วกว่า และคะแนนสูงกว่าพร้อมกันทั้งสามอย่าง

ตัวเลข 99.9% ที่สื่อพาดหัว กับ 98.6% ที่ OpenAI รายงาน — เป็นตัวเลขจากคอลัมน์เดียวกัน

จุดที่ควรบันทึกไว้: ทั้งสองตัวเลขที่หมุนเวียนอยู่ในข่าวสัปดาห์นี้อยู่ในคอลัมน์ Provider Adapter ทั้งคู่ — 98.6% คือช่อง max และ 99.9% คือช่อง high ไม่มีสื่อไหน (รวมถึงประกาศของ OpenAI เอง) พาดหัวด้วยตัวเลขจากคอลัมน์ที่ ARC Prize ออกแบบมาให้เปรียบเทียบข้ามผู้ผลิตได้ ซึ่งคือ 62.7%

ARC Prize อธิบายว่าทำไมถึงต้องมีสองคอลัมน์ ด้วยประโยคที่คมที่สุดในบทความ: Standard harness ถาม “โมเดลเทียบกันอย่างไรภายใต้อินเทอร์เฟซขั้นต่ำเดียวกัน” และ “เราเชื่อว่า AGI ในอนาคตควรแก้ ARC-AGI-3 ได้ภายใต้เงื่อนไขนี้” ส่วน Provider Adapter ตอบอีกคำถามหนึ่งคือ “โมเดลทำได้ดีแค่ไหนเมื่อได้ใช้ฟีเจอร์จัดการคอนเท็กซ์ที่ผู้ผลิตทำมาให้”

ทั้งสองคำถามถูกต้องทั้งคู่ แต่เป็นคนละคำถาม และ ARC Prize ประกาศว่าต่อจากนี้ จะรายงานทั้งสองเงื่อนไขบนลีดเดอร์บอร์ดโดยติดป้ายกำกับชัดเจน ซึ่งเป็นการเปลี่ยนนโยบายที่สำคัญกว่าตัวคะแนนของ Astra เสียอีก

มีรายละเอียดเล็ก ๆ ที่อ่านคู่กันแล้วน่าสนใจ: หน้าลีดเดอร์บอร์ดของ ARC Prize เขียนไว้ในหมายเหตุว่า “แสดงเฉพาะระบบที่ใช้เงินรันต่ำกว่า $10,000” — ซึ่งแปลว่าทั้ง 12 ช่องของ Astra (ถูกที่สุด $17,332) ไม่เข้าเกณฑ์ที่จะถูกพล็อตบนกราฟนั้นเลยสักช่อง

สิ่งที่ Astra ทำได้จริงและวัดได้จริง: ประสิทธิภาพต่อ action

ท่ามกลางเรื่อง harness ยังมีผลลัพธ์หนึ่งที่ไม่ขึ้นกับข้อถกเถียงนั้น และ ARC Prize เรียกมันว่า “หมุดหมายที่มีสาระ”

ก่อนเปิดตัว ARC-AGI-3 ทีมงานทดสอบกับ คนทั่วไปราว 500 คน (ไม่ได้คัดคนเก่งปริศนา) เพื่อตั้งเส้นฐานว่ามนุษย์ใช้กี่ action ต่อด่าน โดยใช้ ค่ามัธยฐานของคนที่ผ่านด่านนั้น ผลคือ Astra (max, Provider Adapter) ใช้ action น้อยกว่าเส้นฐานมนุษย์ใน 96.0% ของด่าน และน้อยกว่าเฉลี่ย 51.7%

ARC Prize บอกด้วยว่านี่ขัดกับสมมติฐานเดิมของตัวเอง — พวกเขาเคยคาดว่าถึง AI จะแก้ได้ก็น่าจะต้องสำรวจมากกว่ามนุษย์มาก ๆ แต่ โมเดลระดับแนวหน้าแสดงพฤติกรรมแบบไบนารีมากกว่า: พอ “เข้าใจ” กลไกของเกมแล้ว มันเดินเกมอยู่ในช่วงประสิทธิภาพเดียวกับมนุษย์เลย

พฤติกรรมที่ทำให้เกิดผลนี้คือสิ่งที่ ARC Prize เรียกว่า สัญกรณ์เชิงพีชคณิตที่โมเดลคิดขึ้นเอง — Astra ย่อสภาพเกมเป็นภาษาเฉพาะกิจสั้น ๆ ของตัวเองเพื่อจดสถานะและแผน เช่น L8: hub q2 (8↓). Lengths: 14=1… สำหรับสถานะ, extend8 to3; retract10 to2; shorten8 to1 สำหรับลำดับแผนหลายขั้น และ 9−=(39,4), rotate=(49,18) สำหรับผูกคำสั่งเข้ากับพิกัดปุ่ม ARC Prize ระบุว่าเคยเห็นพฤติกรรมทำนองนี้ในโมเดลอื่นมาแล้ว แต่ของ Astra โดดเด่นที่ความแม่นและความหนาแน่นของข้อมูล

และในการทดสอบเพิ่มเติมด้วย harness ชื่อ PRO-LONG ที่ให้ Astra เข้าถึงแซนด์บ็อกซ์รันโค้ดได้ มันสร้าง ไลบรารีเฉพาะเกม ขึ้นมาเอง — ในเกม tu93 ที่เป็นเขาวงกตมียามเดินตรวจ Astra เขียน maze_solver.py แล้วเติม combat_solver.py, patrol_solver.py และ sync_state.py เพื่อเช็คว่าคำทำนายของตัวเองตรงกับสิ่งที่เห็นหรือไม่ ARC Prize เตือนเองว่าผลจาก PRO-LONG เทียบกับเส้นฐานมนุษย์ไม่ได้ เพราะผู้เข้าทดสอบที่เป็นคนไม่ได้มี code interpreter หรือกระดาษทดให้ใช้

มุมมอง AI Curator

ผมคิดว่าบทความนี้สำคัญกว่าประกาศเปิดตัว GPT-6 Astra เสียอีก และเหตุผลไม่ใช่เพราะมันไป “จับผิด” OpenAI — OpenAI รายงาน 98.6% พร้อมบอกเงื่อนไข harness ไว้ตรง ๆ ในเอกสารของตัวเอง สิ่งที่ ARC Prize ทำคือ เปิดตารางทั้งใบ แทนที่จะเปิดช่องเดียว แล้วปล่อยให้ผู้อ่านเห็นว่าตัวเลขเดียวไม่พอจะบรรยายความสามารถของระบบอีกต่อไป

หนึ่ง: นี่คือสัปดาห์ที่สี่ติดกันที่คำตอบเดิมโผล่ขึ้นมา — harness คือสินค้า เราเขียนเรื่องนี้ไปแล้วสามครั้งในสี่วัน: FrontierHarness ที่พบต้นทุนต่องานผ่านต่างกัน 17 เท่าบนโมเดลเดียวกัน, Aisle ที่หา CVE ใน curl ได้หกตัวด้วยการ “ห่อ harness รอบโมเดลที่มีอยู่แล้ว” และประกาศของ Astra เอง ตอนนี้ผู้จัดเบนช์มาร์กที่เข้มงวดที่สุดรายหนึ่งเพิ่งประกาศว่าจะแยกรายงานสองเงื่อนไขอย่างถาวร นั่นคือการยอมรับเชิงสถาบันว่า “ความสามารถของโมเดล” กับ “ความสามารถของระบบ” เป็นคนละตัวเลข และเราวัดได้แค่อย่างหลัง

สอง: สำหรับคนที่กำลังจะย้ายไป Astra จริง ๆ ตารางนี้คือเอกสารเชิงปฏิบัติที่มีค่ากว่า model card มันบอกสามอย่างที่เอาไปใช้ได้ทันที — (ก) ถ้าคุณเรียก Astra ผ่าน Chat Completions แบบไร้สถานะ ทิ้ง reasoning state ทุกเทิร์น คุณกำลังอยู่ในคอลัมน์ซ้าย ไม่ใช่คอลัมน์ที่พาดหัว; (ข) การเก็บ reasoning state ข้ามเทิร์นไม่ได้แพงขึ้น แต่ ถูกลง เร็วขึ้น และแม่นขึ้น พร้อมกัน ซึ่งกลับด้านกับสัญชาตญาณว่า “คอนเท็กซ์ยาว = จ่ายแพง”; (ค) reasoning_effort ไม่ใช่ลูกบิดเชิงเส้น — low แพ้ none ในการวัดนี้ ถ้าทีมคุณตั้งค่ากลาง ๆ ไว้เพื่อ “ประหยัด” ควรวัดเองก่อน

สาม: ข้อที่เงียบที่สุดแต่หนักที่สุดคือเรื่องเงิน ค่ารันหนึ่งคอนฟิกอยู่ที่ $17,332–$49,791 ขณะที่มนุษย์ที่ ARC Prize จ้างมาทดสอบได้รับ $115 ต่อเซสชัน 90 นาที บวก $5 ต่อเกมที่ผ่าน หรือราว $12.78 ต่อเกมที่ลอง และถ้าตีมูลค่าเฉพาะพลังงานที่สมองใช้เป็นค่าไฟจริง ๆ จะเหลือราว 0.067 เซนต์ต่อเกม ARC Prize เตือนเองว่าเงินส่วนใหญ่ที่จ่ายคนคือค่าเวลาและความเต็มใจ ไม่ใช่ค่าพลังงาน — แต่ตัวเลขทั้งสองฝั่งวางเรียงกันแล้วยังบอกอะไรบางอย่างชัดมาก และอย่าลืมว่า มนุษย์แก้ได้ 100% ของสภาพแวดล้อมทั้งหมด

สำหรับทีมไทย บทเรียนที่เอาไปใช้ได้ตรง ๆ คือ อย่าตัดสินใจเลือกโมเดลจากตัวเลขในสไลด์ของผู้ผลิต ทีมในไทยจำนวนมากประเมินโมเดลด้วยการอ่านตารางเปรียบเทียบแล้วเลือกตัวที่คะแนนสูงสุด ทั้งที่ช่องว่าง 37 จุดในตารางนี้เกิดจากสิ่งที่อยู่ในโค้ดของคุณเอง ไม่ใช่ในน้ำหนักของโมเดล งบที่ควรลงคือ การวัดบนงานจริงของคุณด้วย harness จริงของคุณ ซึ่งเป็นงานที่ทีมเล็กทำได้และให้ผลตอบแทนสูงกว่าการรออัปเกรดรุ่นถัดไป

และข้อสุดท้ายที่ ARC Prize เขียนไว้เองแต่ถูกกลืนหายไปในพาดหัว: การทำคะแนนเต็ม ARC-AGI-3 ไม่ใช่หลักฐานว่าถึง AGI เพราะสภาพแวดล้อมในเบนช์มาร์กนี้ยังเป็นระบบปิด กติกาแน่นอน ไม่ใช่ความยุ่งเหยิงของโลกจริง คนที่สร้างเบนช์มาร์กพูดเองว่าอย่าอ่านมันเกินกว่าที่มันวัด — ซึ่งเป็นคำเตือนที่ควรอ่านคู่กับประโยค “เราอยู่ในยุค AGI แล้ว” ที่ออกมาในสัปดาห์เดียวกัน

แหล่งข่าว

• OpenAI’s GPT-6 Astra on ARC-AGI-3 — ARC Prize, โดย Greg Kamradt (3 ก.ย. 2026)
• ARC Prize Leaderboard — ตารางผลและหมายเหตุการแสดงผล
• ARC-AGI-3 — หน้าเบนช์มาร์ก