OpenAI เปิด MultiLangBench วัดการเขียน SQLite ใหม่ทั้งตัวใน 20 ภาษา — GPT-6 Astra ได้ 87.4% (COBOL 72.1%) และ GPT-6.1 Sol ย้ายโค้ด COBOL ได้ 86.6% แต่ทุกตัวเลขเทียบกับ GPT-5.6 Sol และรีโปที่ปล่อยยังไม่มีผลรายภาษากับ harness

OpenAI เผยแพร่บทความวิจัย “Advancing Coding in Low-Resource Programming Languages” เมื่อ 19 ต.ค. 2026 บอกว่าโมเดลรุ่นล่าสุดเขียนและย้ายโค้ดในภาษาที่มีข้อมูลฝึกน้อยได้ดีขึ้นมาก โดยเฉพาะ COBOL, Fortran, OCaml และ Visual Basic ซึ่งเป็นภาษาที่ระบบธนาคาร บัตรเครดิต ATM พยากรณ์อากาศ และงานวิเคราะห์ความปลอดภัยนิวเคลียร์ยังใช้อยู่ ในบทความมี eval ใหม่สองชุด ชุดแรกคือ MultiLangBench ที่ให้โมเดลเขียนเอนจินฐานข้อมูลที่เข้ากันได้กับ SQLite ขึ้นมาใหม่ทั้งตัวใน 20 ภาษา ชุดที่สองเป็น eval ย้ายโค้ด COBOL ไปภาษาอื่นโดยต้องได้ผลลัพธ์ตรงกับของเดิมทุกไบต์

นักพัฒนาควรอ่านข่าวนี้เพราะ OpenAI เปิดชุดทดสอบของ MultiLangBench บน GitHub ภายใต้ Apache-2.0 ด้วย ใครที่ดูแลระบบภาษาเก่าเอาไปวัดโมเดลที่ตัวเองใช้ได้ ข้อควรระวังคือตัวเลขทั้งหมดในบทความเป็นการวัดของ OpenAI เอง แต่ละ eval ใช้โมเดลคนละตัว และรีโปที่ปล่อยออกมายังมีของไม่ครบตามที่บทความบอก

MultiLangBench: เขียน SQLite ใหม่ทั้งตัว

ตาม README ของรีโป โมเดลต้องเขียน SQLite เวอร์ชัน 3.40.1 ขึ้นมาใหม่ในภาษาที่กำหนด โดยมีเอกสารของ SQLite ให้อ่าน ห้ามใช้อินเทอร์เน็ต และต้องลบ SQLite ทุกรูปแบบออกจากเครื่องก่อนเริ่ม การตรวจใช้ไฟล์ฐานข้อมูลเป็นตัวกลาง โปรแกรมของโมเดลรับ input.db กับ SQL query แล้วเขียนผลลง output.db จากนั้นใช้ SQLite ตัวจริงรัน validation_query บนไฟล์นั้นเพื่อดูว่าผลตรงกับที่คาดไว้หรือไม่ วิธีนี้ทำให้ใช้ชุดทดสอบเดียวกันได้กับทุกภาษา

ชุดทดสอบแปลงมาจาก TCL Tests ของ SQLite ซึ่งมี 51,000 ข้อ แปลงได้ราว 24,000 ข้อ แต่ README แนะนำให้รันจริงเพียง 272 ข้อ (ข้อที่ชื่อขึ้นต้นด้วย 00, 01, 02) เพราะชุดเต็มแพงเกินไป คะแนนรายงานเป็นคู่ (ค่า API, อัตราผ่าน) และถ้าโมเดลเขียนผิดภาษาหรือเขียนปนหลายภาษา จะได้ 0

ผลที่ OpenAI รายงาน ที่ reasoning effort สูงสุด:

ภาษา	GPT-5.6 Sol	GPT-6 Luna	GPT-6 Astra
เฉลี่ย 20 ภาษา	26.8%	40.3%	87.4%
COBOL	10.9%	17.1%	72.1%
Fortran	21.4%	31.4%	83.5%
OCaml	25.6%	34.1%	85.8%
Visual Basic	27.5%	41.6%	89.4%

Astra ได้เกิน 83% ใน 19 จาก 20 ภาษา COBOL เป็นภาษาเดียวที่ยังต่ำกว่า ส่วน Luna มีค่า API เฉลี่ยประมาณ $0.77 ต่อ sample เทียบกับ $3.48 ของ GPT-5.6 Sol (ถูกลงราว 78%) บทความไม่ได้ให้ค่าใช้จ่ายของ Astra ทั้งที่ README บอกให้รายงานคะแนนคู่กับค่า API และ Astra มีราคา $10/$50 ต่อ 1M โทเคน หรือ 5 เท่าของ Sol ภาษาทั้ง 20 ภาษาได้แก่ C, C#, C++, COBOL, Common Lisp, Fortran, Go, Java, JavaScript, Lean, OCaml, PHP, PowerShell, Python, Ruby, Rust, Scala, Swift, Visual Basic และ Zig

ย้าย COBOL: 5.4% → 86.6%

eval ชุดที่สองให้โมเดลย้ายโปรแกรม COBOL ไปเป็น C++, Java, Kotlin, Python หรือ Rust แล้วตรวจด้วย hidden test ที่ต้องได้ output ตรงกันทุกไบต์ โปรแกรมหนึ่งนับว่าย้ายสำเร็จเมื่อผ่านทุกเทสต์เท่านั้น OpenAI ยกตัวอย่างว่า fixed-point arithmetic ของ COBOL จะตัดทศนิยมส่วนเกินทิ้ง ถ้าไม่ได้สั่งให้ปัด โค้ดที่เขียนใหม่แล้วไปปัดเศษจะรันได้ไม่มี error แต่ตัวเลขทางการเงินจะผิด

ผลคือ GPT-6.1 Sol ได้ 86.6% ที่ low reasoning effort ขณะที่ GPT-5.6 Sol ได้ 5.4% ที่ effort เดียวกัน และ 6.1 Sol ใช้ค่า API เพียง 61% ของรุ่นเก่า ถ้าเพิ่ม effort ได้ถึง 97.9% ซึ่ง OpenAI บอกเองว่าใกล้อิ่มตัวแล้ว บทความยังเขียนไว้ด้วยว่าการใช้กับซอฟต์แวร์ production “still requires expert review and testing against the system’s business rules” eval ชุดนี้ไม่ได้เปิดให้คนนอกใช้

สิ่งที่ตัวเลขไม่ได้บอก

• baseline เก่าไปหนึ่งรุ่นใหญ่ ทุกการเทียบใช้ GPT-5.6 Sol ไม่มี GPT-6 Sol ซึ่งออกเมื่อ 22 ก.ย. หรือโมเดลจากค่ายอื่นเลย ช่วงต่างจาก 26.8% ไป 87.4% จึงรวมทั้งการเปลี่ยนรุ่นและการเปลี่ยนขนาดโมเดล (Sol → Astra)
• แต่ละ eval ใช้โมเดลคนละตัว MultiLangBench รายงาน Astra กับ Luna ส่วนการย้าย COBOL รายงานเฉพาะ 6.1 Sol เราจึงไม่รู้ว่า 6.1 Sol เขียน SQLite ใน COBOL ได้กี่ % และไม่รู้ว่า Luna ย้าย COBOL ได้ดีแค่ไหน
• รีโปยังมีของไม่ครบตามที่บทความบอก บทความเขียนว่าปล่อย “evaluation setup and test suite … along with results for each language” แต่เมื่อเราเช็กรีโปในวันที่ 20 ต.ค. มีเพียง README, LICENSE, requirements.txt, ชุดทดสอบใน tests/ และสคริปต์ 3 ตัว (generate_goldens.py, validate_hashes.py, remove_sqlite.sh) ยังไม่มีไฟล์ผลรายภาษา ไม่มีตัว runner และไม่มี agent harness หรือ prompt ที่ OpenAI ใช้ ประวัติ commit มีแค่ 3 commit (สร้างรีโป 29 ก.ย., ใส่ license 6 ต.ค., เปลี่ยนชื่อเป็น MultiLangBench 19 ต.ค.)
• ไม่บอกว่าวัดด้วยชุดไหน บทความไม่ระบุว่าใช้ชุดย่อย 272 ข้อที่ README แนะนำ หรือชุดเต็มราว 24,000 ข้อ ถ้าใช้ 272 ข้อ ความต่างระดับไม่กี่เปอร์เซ็นต์ระหว่างภาษาอาจอยู่ในช่วงความคลาดเคลื่อน

มุมมอง AI Curator

MultiLangBench ออกแบบได้ดี การใช้ไฟล์ฐานข้อมูลเป็นตัวกลางแล้วตรวจด้วย SQLite ตัวจริงทำให้เทียบข้ามภาษาได้อย่างยุติธรรม และวัดสิ่งที่ benchmark ยอดนิยมไม่ได้วัด คือการสร้างระบบขนาดใหญ่ในงานยาว ไม่ใช่แค่แก้บั๊กทีละจุดแบบ SWE-bench การที่ COBOL ยังเป็นภาษาที่ยากที่สุด แม้ Astra จะได้ถึง 72% ก็ตรงกับที่นักพัฒนาสายนี้พบในงานจริง แต่ตอนนี้ยังเป็น benchmark ที่ OpenAI สร้าง วัด และรายงานเอง โดยเทียบกับรุ่นเก่าของตัวเอง ตัวเลขจะมีความหมายมากขึ้นเมื่อมีคนนอกนำไปรันกับ Claude, Gemini หรือ DeepSeek ซึ่งต้องรอให้ OpenAI ปล่อย harness ก่อน หรือให้ชุมชนเขียนกันเอง

สำหรับไทย เรื่องนี้ใกล้ตัวกว่าที่คิด ธนาคาร ประกัน และหน่วยงานรัฐหลายแห่งยังใช้ COBOL บน mainframe และหา programmer ภาษานี้ยากขึ้นทุกปี ตัวเลข 97.9% อาจทำให้ผู้บริหารคิดว่าย้ายระบบด้วย AI ได้แล้ว แต่ควรอ่านเงื่อนไขให้ครบ ตัวเลขนี้มาจากโปรแกรมใน eval ที่มี hidden test ครอบคลุมพฤติกรรมไว้แล้ว ระบบจริงมักไม่มีเทสต์ ไม่มีเอกสาร และมีกฎธุรกิจที่อยู่ในโค้ดเท่านั้น ทีมที่จะใช้ AI ย้ายระบบควรลงทุนสร้างชุดทดสอบแบบ byte-for-byte จาก production traffic ก่อน เพราะสิ่งที่ทำให้ GPT-6.1 Sol ได้ 86.6% คือชุดทดสอบแบบนั้น ถ้าไม่มี ก็ไม่มีทางรู้ว่ามีการปัดเศษเพิ่มเข้ามาตรงไหน

แหล่งข่าว

• Advancing Coding in Low-Resource Programming Languages (OpenAI, 19 ต.ค. 2026 — สำเนาใน Internet Archive)
• GitHub — openai/MultiLangBench (Apache-2.0)
• OpenAI API pricing