Entelligence ให้ GPT-5.6 Luna กับ GPT-6 Astra รีวิว PR ชุดเดียวกัน 50 ตัว — Luna เจอบั๊กจริง 75% ของ Astra ด้วยเงินแค่ 3.6% แต่เจอบั๊กความปลอดภัยแค่ 9 จาก 24 และคอมเมนต์ผิดราวหนึ่งในสี่

คำถามที่ทีมซึ่งเปิด AI code review ในทุก pull request ต้องตอบเองสักวันคือ จำเป็นต้องใช้โมเดลแพงที่สุดจริงไหม เมื่อ 14 ก.ย. 2026 Aditya Jha จาก Entelligence AI เผยแพร่ผลทดลองที่ตอบคำถามนี้ด้วยตัวเลขชุดหนึ่ง ทีมให้ GPT-5.6 Luna ($0.20 / $1.20 ต่อล้านโทเคน input/output) กับ GPT-6 Astra ($10 / $50) รีวิว PR ชุดเดียวกัน 50 ตัว เราเช็กราคาทั้งสองกับหน้า pricing ของ OpenAI แล้ว ตรงกับที่ Entelligence ใช้

คำตอบสั้นของผู้เขียนคือ Luna พอสำหรับบั๊กความถูกต้องทั่วไป แต่ไม่ควรปล่อยให้รีวิวโค้ด authentication หรือ permission ตามลำพัง ก่อนเชื่อตัวเลขควรรู้บริบทหนึ่งข้อ Entelligence ขาย Model Router ที่ส่งงานแต่ละชิ้นไปยังโมเดลที่ถูกที่สุดซึ่งทำงานนั้นได้ ข้อสรุปแบบ “ใช้ของถูกกับงานส่วนใหญ่ แล้วยกระดับงานที่อ่อนไหว” จึงตรงกับสินค้าที่บริษัทขายพอดี

วิธีทดลอง

• PR: ใช้ PR benchmark สาธารณะ 50 ตัวจาก GitHub org AI-Code-Review-Evals มาจาก Cal.com, Sentry, Discourse, Keycloak และ Grafana ที่ละ 10 ตัว แต่ละตัวถูกฝังข้อบกพร่องลงไปเทียบกับ base branch ที่สะอาด
• พรอมต์: เหมือนกันทั้งสองโมเดล ขอเฉพาะบั๊กด้าน correctness, security, concurrency, resource และ error handling ไม่เอาเรื่องสไตล์ ชื่อตัวแปร เอกสาร หรือคำแนะนำเรื่องเทสต์ ทั้งสองโมเดลเห็นแค่ diff ไม่เห็นประวัติรีโปหรือ call graph
• การยืนยัน: นำ finding จาก Astra, Sol, Luna และคอมเมนต์ของรีวิวเวอร์ Entelligence มารวมเป็นรายการเดียวแบบไม่ระบุที่มา แล้วให้ GPT-6 Astra และ GPT-5.6 Sol ตัดสินแยกกัน บั๊กจะนับว่า “ยืนยันแล้ว” เมื่อกรรมการทั้งสองเห็นตรงกัน กรรมการทั้งสองเห็นตรงกัน 91% และมีบั๊กไม่ซ้ำ 143 ตัวที่ผ่านเกณฑ์

ผลลัพธ์

	GPT-5.6 Luna	GPT-6 Astra
บั๊กที่ยืนยันแล้ว	69	92
finding ทั้งหมด	93	96
ความแม่นยำ (precision)	74%	96%
ค่าใช้จ่ายรวม 50 PR	$0.20	$5.66
ต้นทุนต่อบั๊กที่ยืนยันแล้ว	$0.0030	$0.061
เวลาเฉลี่ยต่อรีวิว	23 วินาที	36 วินาที
output token เฉลี่ยต่อรีวิว	2,104	688

Luna เจอบั๊กจริง 75% ของที่ Astra เจอ โดยใช้เงิน 3.6% รีวิวหนึ่งครั้งถูกกว่าราว 28 เท่า ($0.0041 ต่อ $0.113) ทั้งที่ Luna เขียน output ยาวกว่า 3.1 เท่า เพราะราคา output ถูกกว่า 42 เท่า แต่ราคาที่ต้องจ่ายจริงอยู่ในคอลัมน์ precision: finding ของ Luna ผิด 24 จาก 93 ข้อ ขณะที่ Astra ผิด 4 จาก 96 ผู้เขียนตั้งข้อสังเกตว่านักพัฒนาที่อ่านคอมเมนต์ AI แบบผ่าน ๆ อยู่แล้วจะยิ่งอ่านผ่านมากขึ้น เมื่อคอมเมนต์หนึ่งในสี่เป็นเสียงรบกวน

Luna พลาดตรงไหน

เมื่อแยกตามรีโป Luna ตามหลัง Astra ไม่เกิน 2 บั๊กใน Sentry, Discourse และ Grafana ช่องว่างกว้างขึ้นใน Cal.com (21 ต่อ 30) และกว้างที่สุดใน Keycloak ซึ่งเป็นเซิร์ฟเวอร์ identity/access management ที่ PR ส่วนใหญ่แตะตรรกะ authentication และ permission ในรีโปนี้ Luna เจอ 6 ตัว Astra เจอ 14 ตัว และ finding ของ Luna ผ่านการยืนยันแค่ 50% เทียบกับ 93% ของ Astra ถ้าแยกตามประเภทบั๊ก Luna เจอบั๊กความปลอดภัย 9 จาก 24 ขณะที่ Astra เจอ 19 ส่วนบั๊ก data/logic Luna เจอ 39 ต่อ 47 และ concurrency 10 ต่อ 13

ตัวอย่างบั๊กที่ Astra เจอแต่ Luna พลาด คือ recovery code ของ federated user ไม่ถูกทำเครื่องหมายว่าใช้แล้วจนนำกลับมาใช้ซ้ำได้ และสิทธิ์ view ระดับ global ที่ไปทับการปฏิเสธสิทธิ์ที่ตั้งไว้รายไคลเอนต์ ผู้เขียนชี้ว่าทั้งสองกรณี “ไม่ผิดในบรรทัดไหนเลย” จะมองเห็นก็ต่อเมื่อไล่ว่าโมเดลสิทธิ์อนุญาตอะไรหลังการเปลี่ยนแปลง อีกด้านหนึ่ง Luna ก็เจอบั๊ก 25 ตัวที่ Astra พลาด ส่วนใหญ่เป็น data/logic ถ้ารันทั้งสองโมเดลกับทุก PR จะเจอ 117 จาก 143 ตัว (82%) ด้วยเงิน $5.86

ข้อจำกัดที่ผู้เขียนยอมรับเอง

• Astra เป็นทั้งผู้เข้าแข่งและกรรมการ การบังคับให้ Sol ต้องเห็นด้วยช่วยลดความลำเอียงได้ แต่ไม่ได้ขจัดมันออกไป ส่วนป้ายประเภทบั๊กทั้ง 143 ตัวติดโดย Sol ในการรันครั้งเดียว
• ผลแกว่งระหว่างรอบ ทีมรัน 10 PR ซ้ำอีกสองรอบ จากบั๊ก 15 ตัวที่ Astra เจอในรอบแรก มี 10 ตัวที่กลับมาครบทั้งสองรอบ ส่วน Luna กลับมาแค่ 7 จาก 15 ตัวเลขรอบเดียวในโพสต์จึงควรอ่านแบบมีช่วงความคลาดเคลื่อน
• ทดสอบการปนเปื้อนไม่ได้ commit ที่อยู่เบื้องหลัง PR มีอายุตั้งแต่ปี 2013 ถึง 25 ก.ค. 2025 ทั้งหมดเก่ากว่า training cutoff ของทั้งสองโมเดล แม้บั๊กจะถูกฝังขึ้นใหม่ แต่โค้ดรอบข้างเป็นของสาธารณะที่โมเดลอาจเคยเห็น
• ไม่รู้ false negative จริง benchmark ไม่มีรายการบั๊กครบ ตัวเลข “ยืนยันแล้ว” จึงเป็นขอบล่าง มีบั๊ก 26 ตัวที่ทั้ง Luna และ Astra พลาดแต่ Sol หรือรีวิวเวอร์ของ Entelligence จับได้ รวมถึงบั๊กความปลอดภัยของ Discourse สองตัว

โพสต์บอกว่าพรอมต์ output ดิบ คำตัดสิน และสคริปต์ให้คะแนน “commit มาพร้อมกับบทความ” แต่ ณ วันที่เขียน เรายังหาไม่เจอว่าเก็บไว้ที่ไหน ใน org AI-Code-Review-Evals มีแต่รีโปของตัว benchmark และรีโปล่าสุดที่อัปเดตใน org Entelligence-AI มีวันที่ 26 มิ.ย.

มุมมอง AI Curator

ตัวเลขที่ควรจำจากงานนี้ไม่ใช่ “75% ของคุณภาพด้วยเงิน 3.6%” แต่คือ Keycloak 6 ต่อ 14 เพราะมันบอกว่าช่องว่างระหว่างโมเดลถูกกับแพงไม่ได้กระจายเท่ากันทั้งโค้ดเบส มันไปกองอยู่ในโค้ดที่พลาดแล้วแพงที่สุด ค่าเฉลี่ยทั้งชุดจึงทำให้ Luna ดูดีกว่าที่ควรในจุดที่สำคัญที่สุด ข้อสรุปนี้ตรงกับที่เราเห็นวันนี้จาก Open Code Review ของ Alibaba ซึ่งประหยัดโทเคนได้มากแต่ recall ต่ำกว่า และจาก Copilot Auto ที่เพิ่มสามระดับต้นทุน/คุณภาพ ทั้งอุตสาหกรรมกำลังเดินไปทาง “เลือกโมเดลตามงาน” คำถามจริงจึงอยู่ที่ว่าจะใช้อะไรตัดสินว่างานไหนยาก

ข้อแนะนำเชิงปฏิบัติสำหรับทีมไทยไม่ต้องใช้ router ของใคร แค่ route ตาม path ก็ได้ผลแล้ว ไฟล์ใน auth/, permissions/, billing/ หรือโฟลเดอร์ที่ CODEOWNERS ผูกกับทีม security ให้ส่งไปโมเดลแรง ส่วนที่เหลือใช้โมเดลถูก ในแง่เงิน รีวิวด้วย Astra หนึ่งครั้งตามตัวเลขนี้คือราว 4 บาท และ Luna ไม่ถึง 20 สตางค์ ทั้งสองจำนวนน้อยมากเมื่อเทียบกับเวลาของนักพัฒนาที่ต้องอ่านคอมเมนต์ผิดหนึ่งในสี่ ต้นทุนที่แท้จริงของโมเดลถูกจึงไม่ใช่ค่าโทเคน แต่คือความสนใจของคนที่ถูกกินไป และถ้าทีมเริ่มชินกับการเมินคอมเมนต์ AI คอมเมนต์ที่ถูกเรื่องช่องโหว่ auth ก็จะถูกเมินไปด้วย

สุดท้าย ข้อจำกัดเรื่อง “Astra เป็นกรรมการด้วย” กับ PR ที่เก่ากว่า cutoff ทั้งหมด หมายความว่าผลนี้ควรใช้เป็นสมมติฐานเริ่มต้น ไม่ใช่คำตัดสิน ขั้นตอนหกข้อท้ายโพสต์ของ Entelligence ใช้ได้ดีโดยไม่ต้องซื้ออะไร: เก็บ PR ที่ merge แล้วต้องตามแก้ 30–50 ตัวจากรีโปของคุณเอง รันโมเดลถูกกับแพงด้วยพรอมต์เดียวกัน ใช้กรรมการที่ไม่ใช่หนึ่งในสองโมเดลนั้น แยกผลตามรีโปและประเภทบั๊ก และรันซ้ำบางตัวเพื่อดูความแกว่ง ผลบนโค้ดของคุณเองมีค่ากว่า benchmark ของใครก็ตาม

แหล่งข่าว

• Entelligence AI — GPT-5.6 Luna vs GPT-6 Astra: Is a $1.20 Model Good Enough for Code Review? (14 ก.ย. 2026)
• OpenAI API Pricing — ราคา gpt-5.6-luna และ gpt-6-astra
• GitHub — AI-Code-Review-Evals (ชุด PR benchmark)