DrivingBench: ให้โมเดลแนวหน้าขับ Toyota Corolla คันจริงผ่าน MCP สามเครื่องมือ — GPT-6 Astra เข้าเส้นชัยคันเดียว, Fable 5.1 ไปได้ 45%

คำถามที่ฟังดูเหมือนมุกบน X กลายเป็นเบนช์มาร์กที่มีวิดีโอ, GPS และ trace ครบทุกรอบ DrivingBench เป็นผลงานของ Aditya Ramabadran, Simon Mahns และ Tobias Gessler ที่ให้โมเดลแนวหน้า ขับ Toyota Corolla ปี 2022 คันจริง ในสนามกรวยที่ตั้งในลานจอดรถแห่งหนึ่งใน Bay Area โมเดลคุมรถผ่าน coding agent ที่ใช้กันทุกวัน (Codex, Claude Code, Cursor) ด้วย MCP tool แค่สามตัว โดยมีคนนั่งหลังพวงมาลัยและวางเท้าพร้อมเหยียบเบรกตลอดเวลา

ข้อมูลในหน้าดาวน์โหลดระบุว่ารอบวิ่งถูกบันทึกเมื่อ 17 กันยายน 2026 เว็บไซต์ถูกส่งขึ้น Hacker News ครั้งแรกเมื่อ 22 ก.ย. และขึ้นหน้าแรกในวันที่ 23 ก.ย.

ระบบทำงานอย่างไร

อุปกรณ์ comma four เสียบเข้า CAN bus ของรถผ่านสาย OBD-C และใช้ openpilot คุมมอเตอร์พวงมาลัยไฟฟ้า (EPS) กับคันเร่งและเบรก แล็ปท็อปรันแชตแอปกับ MCP server ส่วนโมเดลบนคลาวด์รับภาพจากกล้องหน้าสองตัวกับข้อมูล telemetry แล้วตอบกลับด้วยคำสั่ง เครื่องมือที่โมเดลได้ใช้มีสามตัว:

• observe() คืนภาพจากกล้องพร้อมความเร็ว มุมพวงมาลัย และเวลาที่คำสั่งปัจจุบันยังเหลือ
• set_motion(direction, steering_percent, speed_mps, duration_s, reason) ส่งคำสั่งใหม่แทนคำสั่งเดิม รถยังเคลื่อนที่ต่อระหว่างที่โมเดลคิด และเบรกเมื่อคำสั่งหมดเวลา
• stop_now(reason) เบรกทันที

พวงมาลัย 100% เท่ากับหมุนพวงมาลัย 180° ความเร็วถูกจำกัดที่ 0.5–3.5 m/s (ราว 1–8 ไมล์ต่อชั่วโมง) ถ้าเกิน 6 m/s ระบบจะยกเลิกการเคลื่อนที่และปลดการควบคุมทันที สนามยาวราว 130 เมตร มีโค้งซ้าย โค้งขวา ทางตรง และจบที่ช่องจอดที่ล้อมด้วยกรวยสีฟ้า

ผลลัพธ์

แต่ละโมเดลได้พยายามสูงสุดสามครั้งในแชตเดียวกัน ระหว่างครั้งจะเขียน reflection สรุปความผิดพลาดของตัวเอง:

โมเดล (harness · effort)	ผลดีที่สุด	ครั้งที่ 1 / 2 / 3
GPT-6 Astra (Codex · medium)	100% ใน 5:22	49% / 100% / —
Claude Fable 5.1 (Claude Code · medium)	45%	9% / 10% / 45%
Grok 4.6 (Cursor · medium)	11%	8% / 11% / 10%
GPT-5.6 Sol (Codex · medium)	6%	6% / 6% / 6%

รอบที่ Astra วิ่งจบใช้ 6.6 ล้านโทเคน คิดเป็นราว $7.74 ตามราคา list ความผิดพลาดที่พบบ่อยที่สุดคือเรื่อง การรับรู้ ไม่ใช่การควบคุม เกือบทุกโมเดลอ่านผิดว่าแนวกรวยทแยงแถวแรกเป็นขอบซ้ายหรือขอบขวาของเลน Sol ยอมรับใน reflection ว่าตัวเอง “assuming that cone color identified boundary side” ทั้งที่โจทย์บอกว่ากรวยมีหลายสีปนกัน

ตัวแบ่งผลแพ้ชนะอยู่ที่ การรู้ว่าโลกไม่รอ Astra เรียก observe ทุก 5–6 วินาทีและส่งคำสั่งราว 6 ครั้งต่อนาที ส่วน Fable ในครั้งที่ 2 ขับจริงแค่ 31 วินาทีจาก 190 วินาที เวลาที่เหลือรถจอดเบรกอยู่ระหว่างที่โมเดลคิด Grok เขียน reflection เองว่า “Overlap every command” แต่ครั้งถัดมาก็ไม่ได้ทำตาม ทั้ง Astra และ Fable แสดงให้เห็นการเรียนรู้ในบริบท (in-context learning) จริง Astra เรียนรู้ว่าต้องลดความเร็วเหลือไม่เกิน 0.8 m/s และหมุนพวงมาลัยเต็ม ส่วน Fable เรียนรู้ในทางตรงกันข้าม คือลดการเลี้ยวลงมาที่ราว 30%

ข้อจำกัดที่ทีมเขียนไว้เอง

• แต่ละโมเดลวัดแค่ครั้งเดียว สามความพยายามไม่เป็นอิสระต่อกันเพราะอยู่ในบริบทเดียวกัน และทดสอบแค่ effort ระดับ medium
• ตัวอย่างใน prompt บอกว่าพวงมาลัย 100% เลี้ยว 90° ได้ในราว 60 วินาทีที่ 1 m/s แต่จาก GPS จริงใช้แค่ราว 25 วินาที ทุกโมเดลได้ข้อมูลที่คลาดเคลื่อนนี้เหมือนกัน
• openpilot พุ่งออกตัวเกินคำสั่งทุกครั้ง ขอ 0.8–1.5 m/s แต่ได้ 1.6–2.4 m/s และกล้องหน้ามองไม่เห็นขอบถนนที่อยู่ใกล้ใต้รถ
• harness เปิดซอร์สที่ aditya-ramabadran/drivingbench_harness_v1 สัญญาอนุญาต MIT แต่ถ้าจะทำซ้ำต้องใช้ Corolla 2022 กับ comma four

มุมมอง AI Curator

อย่าอ่านข่าวนี้ว่า “LLM ขับรถได้แล้ว” สิ่งที่เบนช์มาร์กวัดจริงคือ ลูปของเอเจนต์ในโลกที่ไม่หยุดรอ นี่คือจุดที่ coding agent ไม่เคยถูกทดสอบ ในเทอร์มินัล การใช้เวลาคิด 30 วินาทีไม่มีราคา แต่บนรถที่วิ่ง 1 m/s เท่ากับรถไหลไป 30 เมตร ผลที่ Astra ชนะเพราะสังเกตถี่และส่งคำสั่งซ้อนก่อนคำสั่งเดิมหมด ขณะที่ Fable แพ้เพราะคิดนานเกินไป บอกว่าเมื่อเอเจนต์ต้องทำงานกับระบบจริงที่มีสถานะเปลี่ยนตลอดเวลา (production database, ระบบเทรด, หุ่นยนต์ในโรงงาน) ความหน่วงและจังหวะการสังเกต อาจสำคัญกว่าคะแนน reasoning ในตารางเบนช์มาร์ก

ต้องย้ำเรื่องความยุติธรรมของการเทียบด้วย ตารางนี้เอา GPT-6 Astra รุ่นล่าสุดไปเทียบกับ GPT-5.6 Sol รุ่นก่อน, Fable 5.1 และ Grok 4.6 แต่ละตัววัดครั้งเดียว ใช้ harness ต่างกัน และ effort ระดับ medium ทั้งหมด ตัวเลข 100% เทียบ 45% จึงเป็นหลักฐานระดับ “เป็นไปได้” ไม่ใช่การจัดอันดับที่หนักแน่น ตัวทีมเองก็เขียนไว้ว่ารอบหน้าจะวัดหลายครั้งและหลายระดับ effort

สำหรับนักพัฒนาไทย บทเรียนที่ใช้ได้ทันทีคือ รูปแบบการออกแบบ MCP tool ในงานนี้: คำสั่งที่ หมดอายุเองแล้วเบรก (fail-safe by default), ช่อง reason ที่บังคับให้โมเดลอธิบายทุกคำสั่งเพื่อให้คนตรวจย้อนหลังได้, และเพดานความปลอดภัยหลายชั้นที่อยู่ นอก โมเดล ถ้าคุณกำลังเขียน MCP server ที่คุมอะไรที่ย้อนกลับไม่ได้ ไม่ว่าจะเป็นการโอนเงิน การ deploy หรือแขนกลในไลน์ผลิต นี่คือแม่แบบที่ดีกว่าการหวังว่าโมเดลจะระวังเอง และเช่นเดียวกับที่ทีมผู้วิจัยสรุปไว้ ผลลัพธ์ที่ “น่าตื่นเต้น” แบบนี้ต้องมาพร้อมงานด้านความปลอดภัยที่หนักขึ้น ไม่ใช่ตามมาทีหลัง

แหล่งข่าว

• DrivingBench — Report
• DrivingBench — Leaderboard
• aditya-ramabadran/drivingbench_harness_v1 — GitHub
• DrivingBench — Downloads (trace และวิดีโอทั้ง 11 รอบ)