Databricks ทิ้ง SWE-Bench สร้างเบนช์มาร์กจาก PR จริงของตัวเอง — แล้วตั้ง GLM-5.2 โมเดลจีนเป็นเอนจินโค้ดดิ้งหลักของบริษัท

เมื่อ 9 กรกฎาคม 2026 Databricks เผยแพร่ผลการทดสอบโมเดลโค้ดดิ้งที่บริษัททำกับโค้ดเบสของตัวเอง แล้วประกาศตั้ง GLM-5.2 — โมเดลโอเพนเวตจาก Z.ai ของจีน — เป็น เอนจินโค้ดดิ้งเริ่มต้น ให้นักพัฒนาภายในบริษัท

การที่แพลตฟอร์มข้อมูลระดับแนวหน้าของสหรัฐฯ เลือกโมเดลจีนมาเป็นค่าเริ่มต้นของเครื่องมือพัฒนาภายใน เป็นสัญญาณที่หนักแน่นกว่าคะแนนเบนช์มาร์กใด ๆ แต่สิ่งที่ผมคิดว่ามีค่ากว่าสำหรับนักพัฒนา คือ วิธีที่พวกเขาวัด

ทำไมถึงทิ้ง SWE-Bench

ทีม Databricks สรุปว่าชุดทดสอบสาธารณะอย่าง SWE-Bench ไม่สะท้อนงานจริง จึงสร้างเบนช์มาร์กของตัวเองขึ้นมาใหม่ โดยมีกติกาที่เข้มกว่ามาก:

• ใช้ pull request จริง จากโค้ดเบสหลายล้านบรรทัดของบริษัท
• ทุกงานเป็นงาน ใหม่ เขียนโดยมนุษย์ มาพร้อม เทสต์คุณภาพ และผ่านการรีวิวด้วยมือ
• ตัดสินด้วยผลเทสต์ล้วน ๆ ไม่ใช้ LLM judge
• ตัด git history ทิ้ง เพื่อกันโมเดลย้อนไปดูเฉลย

ข้อสุดท้ายสำคัญมาก โมเดลที่เห็นประวัติ commit สามารถ “แก้บั๊ก” ได้โดยไปอ่านว่ามนุษย์แก้ยังไง ซึ่งไม่ได้วัดความสามารถอะไรเลย

จังหวะนี้บังเอิญตรงกับที่ OpenAI เพิ่งตรวจสอบ SWE-Bench Pro เองแล้วถอนคำแนะนำ พบว่าราว 30% ของงานสาธารณะพัง — สองบริษัทที่ไม่เกี่ยวกัน สรุปตรงกันในสัปดาห์เดียวว่าเบนช์มาร์กโค้ดดิ้งสาธารณะเชื่อไม่ได้

ผลลัพธ์: สามกลุ่มชัดเจน

อัตราผ่านเทสต์ แบ่งได้เป็นสามชั้น:

ชั้น	อัตราผ่าน	โมเดล
บนสุด	82–90%	Opus 4.8, GLM-5.2, GPT-5.5
กลาง	71–82%	Sonnet 4.6, Sonnet 5, GPT-5.4
ล่าง	51–60%	GPT-5.4-mini, Haiku 4.5

GLM-5.2 อยู่กลุ่มบนสุดร่วมกับโมเดลปิดที่แพงที่สุดในตลาด แต่ต้นทุนต่างกัน:

• GLM-5.2 — $1.28 ต่องาน
• Opus 4.8 — $1.94 ต่องาน

Databricks สรุปในบล็อกว่า “หลักฐานชี้ว่าถึงเวลาแล้วที่จะเอาโมเดลเหล่านี้มาใช้เป็น daily driver สำหรับงานโค้ด”

บทเรียนที่ซ่อนอยู่: harness สำคัญพอ ๆ กับโมเดล

ส่วนที่ผมคิดว่าคนจะอ่านข้าม แต่มีค่าที่สุดในรายงานนี้ คือเรื่อง harness

Databricks พบว่า harness ภายในของตัวเองชื่อ Pi ส่ง context เข้าโมเดล น้อยกว่า Claude Code ประมาณ 3 เท่า และเมื่อรัน Opus 4.8 ที่ระดับ effort สูงผ่าน Pi ได้ผลว่า:

ลดต้นทุนได้ 2.08 เท่า ที่คุณภาพใกล้เคียงกัน — อัตราผ่าน 85% เทียบกับ 87%

พูดอีกอย่าง: เปลี่ยน harness ประหยัดได้มากกว่าเปลี่ยนโมเดล โดยเสียคุณภาพไปแค่ 2 จุดเปอร์เซ็นต์ ต้นทุนของ AI coding agent ไม่ได้อยู่ที่ราคาต่อโทเคนอย่างเดียว แต่อยู่ที่ คุณยัดโทเคนเข้าไปกี่ตัวต่อหนึ่งงาน

Databricks ยังบอกว่าจะทำ intelligent routing ต่อ — งานง่ายส่งโมเดลถูก งานยากส่งโมเดลแพง

มุมมอง AI Curator

รายงานนี้มีข้อสรุปสามชั้น และชั้นที่ลึกที่สุดคือชั้นที่คนพูดถึงน้อยที่สุด

ชั้นแรก (ที่พาดหัวข่าวชอบ): โมเดลโอเพนเวตจีนไล่ทันโมเดลปิดอเมริกันแล้ว จริง แต่เราเขียนเรื่องนี้มาหลายรอบตั้งแต่ GLM-5.2 เปิดตัวเมื่อ มิ.ย.

ชั้นที่สอง: บริษัทที่จริงจังกับต้นทุน หยุดเชื่อเบนช์มาร์กสาธารณะแล้ว และหันมาสร้างชุดวัดจากงานของตัวเอง นี่คือสิ่งที่ทีมไทยควรลอกทันที — และมันไม่ได้แพงอย่างที่คิด ถ้าคุณมี PR ที่มีเทสต์อยู่แล้ว คุณมีเบนช์มาร์กอยู่แล้ว สิ่งที่ต้องทำคือหยุดถามว่า “โมเดลไหนคะแนน SWE-Bench สูงสุด” แล้วเริ่มถามว่า “โมเดลไหนปิด PR ของเราได้ ในราคาเท่าไร”

ชั้นที่สาม — และเป็นชั้นที่ผมอยากให้จำ: ตัวเลข 3 เท่าของ Pi บอกว่าอุตสาหกรรมนี้กำลังโฟกัสผิดที่ เราเถียงกันเรื่องราคาต่อล้านโทเคนกันทุกสัปดาห์ ($5/$30 หรือ $1.25/$4.25) ขณะที่ตัวแปรที่คุมได้จริงและให้ผลมากกว่า คือ context engineering — คุณส่งอะไรเข้าไปบ้าง และส่งซ้ำกี่รอบ

สำหรับสตาร์ตอัปไทยที่บ่นว่าค่า API แพงจนใช้เอเจนต์ไม่ไหว คำตอบอาจไม่ใช่การรอโมเดลถูกลง แต่คือการไปดูว่า harness ของคุณกำลังยิง context ซ้ำโดยไม่จำเป็นอยู่กี่เท่า ในกรณีของ Databricks คำตอบคือ สามเท่า

แหล่งข่าว:

• Databricks makes Chinese open-source model GLM-5.2 its default coding engine — The Decoder
• OpenAI ตรวจสอบ SWE-Bench Pro แล้วถอนคำแนะนำ — บล็อกนี้
• Z.ai ปล่อย GLM-5.2 โอเพนเวต MIT 753B — บล็อกนี้