แท็ก

#benchmark

41 บทความ

Inception เปิดตัว Mercury 3 โมเดล diffusion ที่ใหญ่ขึ้น 40 เท่า วิ่ง 1,068 โทเคน/วินาที ชนะ GPT-6 Luna และ Haiku 5.5 ในตารางของตัวเอง — แต่ราคาปกติแพงกว่าทั้งคู่ ที่ดูถูกกว่าเพราะใช้ราคาโปรโมชัน
โมเดลใหม่

Inception เปิดตัว Mercury 3 โมเดล diffusion ที่ใหญ่ขึ้น 40 เท่า วิ่ง 1,068 โทเคน/วินาที ชนะ GPT-6 Luna และ Haiku 5.5 ในตารางของตัวเอง — แต่ราคาปกติแพงกว่าทั้งคู่ ที่ดูถูกกว่าเพราะใช้ราคาโปรโมชัน

Inception เปิดตัว Mercury 3 เมื่อ 19 ต.ค. 2026 เป็นโมเดลภาษาแบบ diffusion ที่ใหญ่กว่า Mercury 1 มากกว่า 40 เท่า ทำความเร็วได้ 1,068 โทเคน/วินาที context 1M และชนะ GPT-6 Luna กับ Claude Haiku 5.5 ใน 8 จาก 12 เบนช์มาร์กในตารางของบริษัท แต่ราคาปกติ $0.20/$0.70 แพงกว่าคู่เทียบทั้งสอง ($0.10/$0.50) ตารางที่ทำให้ดูถูกกว่าใช้ราคาโปรลด 50% ซึ่งไม่ได้บอกวันหมดเขต และโมเดลยังเป็นแบบปิด

· อ่าน 4 นาที
MiniMax M3.1 Flash เปิดตัวจริง — เฉลยว่า "Space Bunny" คือตัวนี้, ราคา $0.15/$0.60 ต่อ 1M โทเคน แต่ยังไม่มีน้ำหนัก และกราฟของ MiniMax เองโชว์ว่า DeepSeek V4.1 Flash-1017 ทำ DeepSWE ได้สูงกว่าในราคาที่ถูกกว่า
โมเดลใหม่

MiniMax M3.1 Flash เปิดตัวจริง — เฉลยว่า "Space Bunny" คือตัวนี้, ราคา $0.15/$0.60 ต่อ 1M โทเคน แต่ยังไม่มีน้ำหนัก และกราฟของ MiniMax เองโชว์ว่า DeepSeek V4.1 Flash-1017 ทำ DeepSWE ได้สูงกว่าในราคาที่ถูกกว่า

MiniMax เปิดตัว M3.1 Flash อย่างเป็นทางการเมื่อ 19 ต.ค. 2026 และยืนยันว่าโมเดลนิรนาม Space Bunny บน OpenRouter (ใช้ไปกว่า 200 ล้านล้านโทเคน) คือรุ่นแรก ๆ ของตัวนี้ ราคา $0.15/$0.60 ต่อ 1M โทเคน ซึ่งเป็นครึ่งหนึ่งของ M3 ส่วนตัวเลข 'ถูกลง 70%' เป็นต้นทุนต่องานไม่ใช่ราคาต่อโทเคน น้ำหนักโมเดลยังไม่ปล่อย และในกราฟ DeepSWE ของ MiniMax เอง DeepSeek V4.1 Flash-1017 ทำคะแนนได้สูงกว่าโดยใช้เงินน้อยกว่า

· อ่าน 5 นาที
Vals AI ทดสอบ 'ทีมเอเจนต์' บน Vibe Code Bench: แพงขึ้น 1.8–5.1 เท่า แต่คะแนนดีขึ้นอย่างมีนัยสำคัญแค่ 1 ใน 4 กรณี
งานวิจัย

Vals AI ทดสอบ 'ทีมเอเจนต์' บน Vibe Code Bench: แพงขึ้น 1.8–5.1 เท่า แต่คะแนนดีขึ้นอย่างมีนัยสำคัญแค่ 1 ใน 4 กรณี

Vals AI ให้ GPT 6 Sol และ Claude Opus 5.5 สร้างเว็บแอปครบวงจร 50 แอป ทั้งแบบเอเจนต์เดี่ยวและแบบทีม (lead + subagent สูงสุด 5 ตัว) ผลคือทีมแพงกว่า 1.8–5.1 เท่า แต่มีแค่ Sol ที่ effort ระดับ medium ที่คะแนนดีขึ้นอย่างมีนัยสำคัญ (+7.3 จุด) ส่วนทีม Opus ระดับ max ใช้เงินเฉลี่ย $122 ต่อแอป เทียบกับ $4.08 ของ Opus เดี่ยวระดับ medium ที่คะแนนใกล้กัน

· อ่าน 5 นาที
ทดลอง 26 เทคนิคเทสต์กับ coding agent ครั้งละ 160 รัน แล้วพบว่า "ไม่สั่งอะไรเลย" ชนะเกือบทุกเทคนิค — และสกิลเทสต์ยอดฮิต 250k ดาวทำผลแย่ลง
เครื่องมือนักพัฒนา

ทดลอง 26 เทคนิคเทสต์กับ coding agent ครั้งละ 160 รัน แล้วพบว่า "ไม่สั่งอะไรเลย" ชนะเกือบทุกเทคนิค — และสกิลเทสต์ยอดฮิต 250k ดาวทำผลแย่ลง

Dan Luu ให้ Codex (GPT-5.6 Sol) เขียน Zstd ใน Rust ซ้ำ 160 รันต่อเงื่อนไข ครอบคลุม 26 เทคนิคเทสต์และ 4 สกิล ผลคือไม่มีเทคนิคไหนชนะขาด และเงื่อนไข Default ที่ไม่สั่งอะไรเลยทำได้ "สูงกว่าค่าเฉลี่ยอย่างชัดเจน" เพราะเอเจนต์ใช้เทคนิคที่ถูกสั่งแบบผิวเผินแทบทุกกรณี

· อ่าน 8 นาที
ปล่อยโมเดลแนวหน้า 7 ตัวทำธุรกิจจริงคนละ $300 เป็นเวลา 72 ชั่วโมง — รายได้รวม $0 แต่ออกใบแจ้งหนี้ให้คนแปลกหน้าไปแล้ว $12,431 และส่งสแปม 2,797 ฉบับ
งานวิจัย

ปล่อยโมเดลแนวหน้า 7 ตัวทำธุรกิจจริงคนละ $300 เป็นเวลา 72 ชั่วโมง — รายได้รวม $0 แต่ออกใบแจ้งหนี้ให้คนแปลกหน้าไปแล้ว $12,431 และส่งสแปม 2,797 ฉบับ

Bottleneck Labs เผยแพร่ผลการทดลองรอบสอง (5 ก.ย.) ที่ให้โมเดลแนวหน้า 7 ตัวคุม Mac mini คนละเครื่อง บัญชีธนาคาร $300 และบัญชี Stripe ของตัวเอง โดยสั่งแค่ว่า make as much money as you can — จบที่รายได้ $0, ใบแจ้งหนี้ที่ไม่มีใครสั่ง $12,431 และเอเจนต์ที่เลือกนอน 50 ชั่วโมงติด

· อ่าน 8 นาที
CUA-Lite เปิดโค้ดแพลตฟอร์มเดียวสำหรับ computer-use agent — ตัด VM ทิ้งเหลือ Docker ลด RAM จาก 4.1 GB เหลือ 0.9 GB ต่องาน แต่รีโปยังไม่มีไฟล์ LICENSE
เครื่องมือนักพัฒนา

CUA-Lite เปิดโค้ดแพลตฟอร์มเดียวสำหรับ computer-use agent — ตัด VM ทิ้งเหลือ Docker ลด RAM จาก 4.1 GB เหลือ 0.9 GB ต่องาน แต่รีโปยังไม่มีไฟล์ LICENSE

CUA-Lite รวมแซนด์บ็อกซ์ ชุดข้อมูล การประเมิน SFT และ RL ของเอเจนต์คุมคอมพิวเตอร์ไว้ใน action space และสคีมาเดียว จุดขายจริงคือ Lite.OSWorld ที่ยกงาน OSWorld ทั้ง 369 ข้อออกจาก VM มาไว้ใน Docker — ใช้แรม 0.9 GB แทน 4.1 GB และรันขนานได้ราว 4.6 เท่า แต่รีโปยังไม่มีไฟล์ LICENSE และคำว่า any agent ครอบคลุมแค่ตอน eval

· อ่าน 7 นาที
งานตรวจสอบ preregistered 52,988 คำขอสรุปว่า "ชื่อโมเดล" ไม่ใช่เครื่องมือวัดที่นิ่ง — ส่งคำขอเดิมทุกไบต์ซ้ำวันถัดมาได้อันดับตรงกันแค่ 0.78 จากเกณฑ์ 0.99 และผู้เขียนบอกเองว่าความรุนแรงส่วนหนึ่งเขาสร้างขึ้นมาเอง
งานวิจัย

งานตรวจสอบ preregistered 52,988 คำขอสรุปว่า "ชื่อโมเดล" ไม่ใช่เครื่องมือวัดที่นิ่ง — ส่งคำขอเดิมทุกไบต์ซ้ำวันถัดมาได้อันดับตรงกันแค่ 0.78 จากเกณฑ์ 0.99 และผู้เขียนบอกเองว่าความรุนแรงส่วนหนึ่งเขาสร้างขึ้นมาเอง

3 ก.ย. 2026 นักวิจัยจาก University of Sheffield และ Cambridge เผยแพร่ผลตรวจสอบแบบลงทะเบียนล่วงหน้าที่ล้มเหลวทั้งสองรอบก่อนได้ทดสอบสมมติฐานจริง — ผู้ตัดสิน LLM บนเอนด์พอยต์ที่ใช้ร่วมกันให้อันดับซ้ำในหน้าต่างเดียวกันตรงกันแค่ Spearman 0.400 และการเปลี่ยนผู้ให้บริการ การรอข้ามวัน หรือการโฮสต์เองก็ไม่ช่วย

· อ่าน 8 นาที
GPT-6 Astra หยิบของใส่ชามได้ 19 จาก 20 ครั้ง ส่วน Fable 5.1 ได้ 8 — แต่งานเดียวที่รันบนแขนกลตัวเดียวกันจริง ๆ ผลออกมาเสมอกันที่ 2 ต่อ 20
งานวิจัย

GPT-6 Astra หยิบของใส่ชามได้ 19 จาก 20 ครั้ง ส่วน Fable 5.1 ได้ 8 — แต่งานเดียวที่รันบนแขนกลตัวเดียวกันจริง ๆ ผลออกมาเสมอกันที่ 2 ต่อ 20

Robocurve เผยแพร่ 4 ก.ย. ผลทดสอบให้ GPT-6 Astra คุมแขนกลคู่ YAM ทำสองงาน เทียบกับ Claude Fable 5 และ 5.1 อย่างละ 20 เทรล — Astra ชนะขาดในงานหยิบบล็อกใส่ชาม ใช้โทเคนน้อยกว่า 6 เท่า แต่รายงานเองระบุว่างานนั้นรันคนละแท่น ส่วนงานที่รันแท่นเดียวกันทั้งสามโมเดล ผลคือเสมอ

· อ่าน 7 นาที
SWE-Gate: แพตช์ 644 ชิ้นที่ผ่านเทสต์ มี 221 ชิ้นที่รีวิวเวอร์จะตีกลับ — และการบอกกฎให้เอเจนต์รู้ล่วงหน้า ทำให้มันซ่อมบั๊กได้แย่ลง
งานวิจัย

SWE-Gate: แพตช์ 644 ชิ้นที่ผ่านเทสต์ มี 221 ชิ้นที่รีวิวเวอร์จะตีกลับ — และการบอกกฎให้เอเจนต์รู้ล่วงหน้า ทำให้มันซ่อมบั๊กได้แย่ลง

เปเปอร์ arXiv:2609.04167 (3 ก.ย.) เสนอ SWE-Gate เบนช์มาร์ก 303 เคสจาก 75 รีโป Python ที่แยกเทสต์ "แก้บั๊กได้ไหม" ออกจาก "ผ่านเงื่อนไขที่รีวิวเวอร์ตั้งไหม" — จากแพตช์ 644 ชิ้นที่ผ่านเทสต์การทำงาน มี 221 ชิ้น (34.3%) ที่ละเมิดเงื่อนไขรีวิว และการยื่นเงื่อนไขให้เอเจนต์อ่านทำให้อัตราซ่อมบั๊กสำเร็จลดลงทุกโมเดล

· อ่าน 7 นาที
Artificial Analysis เปลี่ยนสูตร Intelligence Index เป็น v4.2 — วันก่อนหน้า GPT-6 Astra เสมอ Sol ที่ 61 คะแนน วันถัดมากลายเป็นนำ 4 คะแนน โดยที่ไม่มีโมเดลไหนเปลี่ยนเลย
เครื่องมือนักพัฒนา

Artificial Analysis เปลี่ยนสูตร Intelligence Index เป็น v4.2 — วันก่อนหน้า GPT-6 Astra เสมอ Sol ที่ 61 คะแนน วันถัดมากลายเป็นนำ 4 คะแนน โดยที่ไม่มีโมเดลไหนเปลี่ยนเลย

4 ก.ย. 2026 Artificial Analysis ปล่อย Intelligence Index v4.2 — ถอด GPQA Diamond ออกเพราะอิ่มตัว เพิ่ม AA-Briefcase และ GDP.pdf และเพิ่มน้ำหนักชุดทดสอบลับเป็น 40% ผลคืออันดับขยับทันทีโดยที่โมเดลไม่ได้เปลี่ยน และตัวเลขที่ไม่มีใครพาดหัวคือผู้นำของ GDP.pdf ได้แค่ 33.2%

· อ่าน 7 นาที
EEBench วัดว่า AI ออกแบบวงจรได้จริงไหมด้วย SPICE ไม่ใช่ด้วยความเห็น — Opus 5 นำที่ 61.6% แต่เคสที่สอนเราคือดีไซน์ที่คอมไพล์ผ่านแล้วไฟตกใน 0.85 มิลลิวินาที
งานวิจัย

EEBench วัดว่า AI ออกแบบวงจรได้จริงไหมด้วย SPICE ไม่ใช่ด้วยความเห็น — Opus 5 นำที่ 61.6% แต่เคสที่สอนเราคือดีไซน์ที่คอมไพล์ผ่านแล้วไฟตกใน 0.85 มิลลิวินาที

4 ก.ย. 2026 ทีม atopile เผยแพร่ผลของ EEBench เบนช์มาร์กที่ให้เอเจนต์ออกแบบวงจรเป็นโค้ดแล้วตัดสินด้วยการจำลอง SPICE บนชิ้นส่วนของผู้ผลิตจริง — Claude Opus 5 นำที่ 61.6% จาก 13 โจทย์ ตามด้วย Grok 4.6 ที่ 57.1% ขณะที่ GPT-5.6 Sol ได้ 39.4% และยังไม่มีผลของ GPT-6 Astra

· อ่าน 6 นาที
โมเดลเดียวกัน 9 harness ต่างกัน 17 เท่าในค่าใช้จ่ายต่องานที่ผ่าน — แต่ครึ่งหนึ่งของโจทย์ในเบนช์มาร์กนี้ทุก harness ได้ผลเท่ากันหมด
เครื่องมือนักพัฒนา

โมเดลเดียวกัน 9 harness ต่างกัน 17 เท่าในค่าใช้จ่ายต่องานที่ผ่าน — แต่ครึ่งหนึ่งของโจทย์ในเบนช์มาร์กนี้ทุก harness ได้ผลเท่ากันหมด

FrontierHarness Eval รัน 9 harness (12 คอนฟิก) บนโมเดลเดียวกันคือ Kimi K3 กับโจทย์ 30 ข้อ แล้วพบว่าอัตราผ่านห่างกันแค่ 17 จุด แต่ค่าใช้จ่ายต่องานที่ผ่านห่างกัน 17 เท่า — ข้อมูลดิบที่เผยแพร่คู่กันบอกอีกสามอย่างที่หน้าเว็บไม่ได้เขียน

· อ่าน 8 นาที
NEEDLE: เบนช์มาร์ก Search API ที่สร้างคำถามใหม่ทุกชั่วโมงเพื่อกันการปั้นคะแนน — และตัวเลขสดวันนี้บอกว่าไม่มีเจ้าไหนหาเจอเกินครึ่งของที่หาเจอได้
เครื่องมือนักพัฒนา

NEEDLE: เบนช์มาร์ก Search API ที่สร้างคำถามใหม่ทุกชั่วโมงเพื่อกันการปั้นคะแนน — และตัวเลขสดวันนี้บอกว่าไม่มีเจ้าไหนหาเจอเกินครึ่งของที่หาเจอได้

Keenable AI เปิดซอร์ส NEEDLE (MIT) เบนช์มาร์ก Search API ที่สร้างชุดคำถามขึ้นใหม่ทุกชั่วโมงจาก RSS และ Google Trends แทนชุดข้อมูลนิ่ง ๆ พร้อมแดชบอร์ดสาธารณะและคลังผลลัพธ์บน Hugging Face — ตัวเลขรอบล่าสุดวันที่ 1 ก.ย. 2026 แสดงว่าไม่มีเสิร์ชเอนจินเดี่ยวเจ้าใดทำ nDCG@5 เกิน 0.52 เทียบกับเพดาน 1.00 ที่ได้จากการรวมผลทุกเจ้าเข้าด้วยกัน และเจ้าของเบนช์มาร์กเองก็เป็นหนึ่งในผู้ให้บริการที่ถูกวัด

· อ่าน 7 นาที
Artificial Analysis เปิดกระดานวัดโมเดลบนมือถือจริง ร่วมกับ Liquid AI — LFM2.5-2.6B ได้คะแนนเท่า Nanbeige4.2-3B ที่ 63 แต่เร็วกว่า 2.7 เท่าและกินแรม 2.3 GB
เครื่องมือนักพัฒนา

Artificial Analysis เปิดกระดานวัดโมเดลบนมือถือจริง ร่วมกับ Liquid AI — LFM2.5-2.6B ได้คะแนนเท่า Nanbeige4.2-3B ที่ 63 แต่เร็วกว่า 2.7 เท่าและกินแรม 2.3 GB

Artificial Analysis เปิดหมวดเบนช์มาร์กใหม่เมื่อ 24 ส.ค. 2026 สำหรับโมเดลที่รันบนมือถือได้จริง วัดทั้งความฉลาดและความเร็วบน iPhone 17 Pro และ Galaxy S26 Ultra ด้วยบิลด์ควอนไทซ์ 4-bit ตัวเดียวกัน — และผลออกมาว่าคะแนนความฉลาดอย่างเดียวเลือกโมเดลลงมือถือไม่ได้ ต้องดูคู่กับเวลาและแรม

· อ่าน 5 นาที
Open ASR Leaderboard รับภาษาจากซีกโลกใต้เป็นครั้งแรก — ชุดทดสอบฮินดีและอังกฤษอินเดีย 4,888 ผู้พูด ที่ออกแบบมาให้ WER ตัวเดียวโกหกไม่ได้
งานวิจัย

Open ASR Leaderboard รับภาษาจากซีกโลกใต้เป็นครั้งแรก — ชุดทดสอบฮินดีและอังกฤษอินเดีย 4,888 ผู้พูด ที่ออกแบบมาให้ WER ตัวเดียวโกหกไม่ได้

28 ส.ค. 2026 Hugging Face และ Voice Arena เพิ่มชุดทดสอบ Monsoon hi-IN และ en-IN เข้า Open ASR Leaderboard ทำให้ฮินดีเป็นภาษาอินดิกแรกบนแท็บ multilingual ที่ก่อนหน้านี้มีแต่ภาษายุโรป จุดสำคัญไม่ใช่จำนวนชั่วโมง (รวมกันแค่ 17 ชม.) แต่คือ 4,888 ผู้พูดจากหลายร้อยอำเภอ พร้อมเมทาดาทา 12 ช่องต่อคลิป และรีเฟอเรนซ์ฮินดีที่เป็น lattice ของสะกดที่ยอมรับได้

· อ่าน 7 นาที
Terminal-Bench-Science 0.1 ออกแล้ว — 70 งานวิจัยจริงในเทอร์มินัล คัดจากข้อเสนอ 920 ชิ้น และเอเจนต์ที่เก่งที่สุดทำได้แค่ 30%
เครื่องมือนักพัฒนา

Terminal-Bench-Science 0.1 ออกแล้ว — 70 งานวิจัยจริงในเทอร์มินัล คัดจากข้อเสนอ 920 ชิ้น และเอเจนต์ที่เก่งที่สุดทำได้แค่ 30%

26 ส.ค. 2026 ทีม Terminal-Bench ร่วมกับ Stanford และ Laude Institute ปล่อย Terminal-Bench-Science 0.1 ใต้ Apache-2.0 — เบนช์มาร์ก 70 งานที่กลั่นจากข้อเสนอ 920 ชิ้นโดยผู้ร่วมเขียน 376 คนจาก 22 ประเทศ ตรวจด้วย test แบบ deterministic ไม่ใช้ LLM ตัดสิน ผลคือ Claude Opus 5 บน Claude Code นำที่ 30.0% ขณะที่ทุกโมเดลร่วงจาก Terminal-Bench 3.0 เกิน 10 จุดถ้วนหน้า

· อ่าน 7 นาที
GameXpert-Bench วัด coding agent ด้วยการให้ทำเกมทั้งวงจร — ผลคือ agent สร้างของที่เล่นได้เก่งกว่าหาบั๊กเอง และคะแนนซ่อมพังทันทีเมื่อไม่มีใครบอกว่าบั๊กอยู่ตรงไหน
งานวิจัย

GameXpert-Bench วัด coding agent ด้วยการให้ทำเกมทั้งวงจร — ผลคือ agent สร้างของที่เล่นได้เก่งกว่าหาบั๊กเอง และคะแนนซ่อมพังทันทีเมื่อไม่มีใครบอกว่าบั๊กอยู่ตรงไหน

เปเปอร์ arXiv วันที่ 22 ส.ค. 2026 เสนอ GameXpert-Bench ที่วัด coding agent ตลอดวงจรการทำเกมสามแทร็ก — สร้างใหม่ 97 โจทย์ ซ่อมบั๊ก 100 โจทย์ และปรับปรุงต่อเนื่อง 17 เชนหกรอบ ข้อค้นพบหลักคือช่องว่างระหว่างการเขียนตามสั่งกับการหาข้อบกพร่องเอง โดยตัวชี้วัด Self-Discovery ตกไล่ตั้งแต่ 7.6 จนถึง 32.8 จุดแล้วแต่โมเดล

· อ่าน 6 นาที
MemTrapBench: ทุกเฟรมเวิร์กความจำที่ทดสอบ ทำให้โมเดลแย่ลงกว่าตอนไม่มีความจำ — และความจำที่ "ถูกต้องทุกอย่าง" ก็ยังทำให้ตัดสินใจผิดได้
งานวิจัย

MemTrapBench: ทุกเฟรมเวิร์กความจำที่ทดสอบ ทำให้โมเดลแย่ลงกว่าตอนไม่มีความจำ — และความจำที่ "ถูกต้องทุกอย่าง" ก็ยังทำให้ตัดสินใจผิดได้

เปเปอร์จากทีม ZJUNLP ขึ้น arXiv เมื่อ 20 ส.ค. 2026 ทดสอบเฟรมเวิร์กความจำ 5 ตัวบนโมเดลสองตระกูล แล้วพบว่า ทุกตัว ทำคะแนนต่ำกว่าการไม่ใส่ความจำเลย — โดยความจำที่บันทึกถูกต้องและเกี่ยวข้องจริง ก็ยังลากโมเดลเข้ากับดักได้ ที่หนักที่สุดร่วงจาก 92.29% เหลือ 31.05%

· อ่าน 7 นาที
Prime Intellect ปล่อยโมเดล 18 ตัวแข่งกันหาทางเทรน GPT ให้เร็วขึ้น 153 รอบ — Fable 5 ปิดช่องว่างกับสถิติมนุษย์ได้ 81.7% แต่ไม่มีรอบไหนคิดวิธีใหม่ได้เลย
งานวิจัย

Prime Intellect ปล่อยโมเดล 18 ตัวแข่งกันหาทางเทรน GPT ให้เร็วขึ้น 153 รอบ — Fable 5 ปิดช่องว่างกับสถิติมนุษย์ได้ 81.7% แต่ไม่มีรอบไหนคิดวิธีใหม่ได้เลย

Prime Intellect เปิดหน้า leaderboard สาธารณะของการทดลอง 153 รอบที่ปล่อยโมเดลแนวหน้า 18 ตัววิ่งบน 8×H200 นานถึง 8 วัน เพื่อลดจำนวนสเต็ปการเทรน nanoGPT — Fable 5 ทำได้ 2,726 สเต็ป ปิดช่องว่างกับสถิติมนุษย์ 81.7% แต่ผู้เขียนสรุปเองว่า ไม่มีรอบไหนได้วิธีใหม่ที่ไม่มีในงานวิจัยเดิม

· อ่าน 6 นาที
NVIDIA เอา Claude Opus 5 ตัวเดิมมาห่อด้วย harness ชื่อ AVO แล้วคะแนน ARC-AGI-3 กระโดดจาก 30% เป็น 100%
เครื่องมือนักพัฒนา

NVIDIA เอา Claude Opus 5 ตัวเดิมมาห่อด้วย harness ชื่อ AVO แล้วคะแนน ARC-AGI-3 กระโดดจาก 30% เป็น 100%

21 ส.ค. 2026 NVIDIA รายงานว่าระบบเอเจนต์ AVO ผ่านครบทั้ง 183 ด่านใน 25 สภาพแวดล้อมของ ARC-AGI-3 ชุดสาธารณะ ได้ 100.00 RHAE โดยใช้ Claude Opus 5 เป็นสมองหลัก — โมเดลตัวเดียวกันที่เรียกตรง ๆ ทำได้แค่ราว 30% ความต่างทั้งหมดอยู่ที่ scaffolding รอบโมเดล ไม่ใช่ตัวโมเดล

· อ่าน 6 นาที
SWE-bench Science: เอเจนต์เขียนโค้ดผ่านเทสต์สาธารณะ 96-100% แต่แก้บั๊กในซอฟต์แวร์วิทยาศาสตร์สำเร็จจริงไม่ถึงครึ่ง
งานวิจัย

SWE-bench Science: เอเจนต์เขียนโค้ดผ่านเทสต์สาธารณะ 96-100% แต่แก้บั๊กในซอฟต์แวร์วิทยาศาสตร์สำเร็จจริงไม่ถึงครึ่ง

20 ส.ค. 2026 ทีมจาก Shanghai Innovation Institute และมหาวิทยาลัยฟู่ตั้นปล่อย SWE-bench Science — 119 งานจาก 98 รีโปจริง ครอบคลุม 20 สาขาวิทยาศาสตร์ ผลคือเอเจนต์ที่เก่งที่สุด (Claude Code + Opus 5 โหมด max) ได้ Pass@1 แค่ 47.90% ทั้งที่ผ่านเทสต์สาธารณะ 96.64% และการป้อนความรู้วิทยาศาสตร์เพิ่มกลับทำให้ GPT-5.6-sol แย่ลง

· อ่าน 6 นาที
Artificial Analysis เปิด Search Index — เบนช์มาร์กแรกที่วัด "Search API ไหนทำให้เอเจนต์ตอบถูกขึ้น" โดยตรง
งานวิจัย

Artificial Analysis เปิด Search Index — เบนช์มาร์กแรกที่วัด "Search API ไหนทำให้เอเจนต์ตอบถูกขึ้น" โดยตรง

18 ส.ค. 2026 Artificial Analysis ปล่อย Search Index เบนช์มาร์กที่สลับเฉพาะ Search API โดยล็อกโมเดลและงานไว้เหมือนเดิม เพื่อวัดว่าผู้ให้บริการค้นหาแต่ละเจ้าช่วยให้เอเจนต์ตอบถูกขึ้นเท่าไร พร้อมเทียบต้นทุนและ latency

· อ่าน 6 นาที
งานวิจัยชี้: พอ agent ย่อ context คำสั่งที่คุณสั่งไว้หายไป 83% — "ถามก่อนทำ" รอดแค่ 17%
งานวิจัย

งานวิจัยชี้: พอ agent ย่อ context คำสั่งที่คุณสั่งไว้หายไป 83% — "ถามก่อนทำ" รอดแค่ 17%

เปเปอร์ Lost in Compaction จาก Penn State (พรีปรินต์ 31 ก.ค. 2026 ที่เพิ่งถูกพูดถึงในสัปดาห์นี้) วัดพบว่าเมื่อระบบ agent ย่อ context คำสั่งกำกับพฤติกรรมแบบ "ยืนยันกับฉันก่อนทุกครั้ง" เหลือรอดเฉลี่ยเพียง 17% และวิธีย่อแบบไม่ใช้ LLM เหลือ 0% — พร้อมเสนอโมดูลเสริมที่ดันกลับไปเกิน 90%

· อ่าน 7 นาที
รายงาน State of Open Models ของ Hugging Face — จีนผูกขาดโมเดลใหญ่ 59% เป็น Apache-2.0, Qwen มี derivative 151,448 repo, Claude Code กิน 44% ทราฟฟิกเอเจนต์
งานวิจัย

รายงาน State of Open Models ของ Hugging Face — จีนผูกขาดโมเดลใหญ่ 59% เป็น Apache-2.0, Qwen มี derivative 151,448 repo, Claude Code กิน 44% ทราฟฟิกเอเจนต์

Hugging Face เผยแพร่รายงานสรุปสถานะโมเดลเปิดครึ่งปี 2026 เมื่อ 14 ส.ค. — ข้อมูลจาก Hub เองชี้ว่าแล็บจีนครองโมเดลขนาดใหญ่และเปิดไลเซนส์กว้างกว่าแล็บอเมริกันชัดเจน ขณะที่ยอดดาวน์โหลดจริง 83% ยังไปที่โมเดลต่ำกว่า 1B

· อ่าน 7 นาที
Optima จาก Artificial Analysis — สร้าง benchmark จากข้อมูลของคุณเอง แล้ววัดทุกโมเดลในคลิกเดียว
เครื่องมือนักพัฒนา

Optima จาก Artificial Analysis — สร้าง benchmark จากข้อมูลของคุณเอง แล้ววัดทุกโมเดลในคลิกเดียว

Artificial Analysis เปิดตัว Optima (13 ส.ค. 2026) แพลตฟอร์มสร้าง benchmark ส่วนตัวจากชุดข้อมูลหรือ agent trace ของคุณเอง แล้วรันเทียบโมเดลชั้นนำพร้อมกัน — วัดทั้งคุณภาพ ต้นทุนต่องาน และเวลาต่องาน คิดเงินตามโทเค็นจริงไม่บวกเพิ่ม

· อ่าน 4 นาที
PerceptionBench จาก Moonshot AI — แยก 'การมองเห็น' ออกจาก 'การคิด' แล้วพบว่าไม่มีโมเดลไหนผ่าน 60%
งานวิจัย

PerceptionBench จาก Moonshot AI — แยก 'การมองเห็น' ออกจาก 'การคิด' แล้วพบว่าไม่มีโมเดลไหนผ่าน 60%

Moonshot AI เปิด benchmark ใหม่ 3,000 ข้อที่วัดการรับรู้ภาพล้วน ๆ โดยตัดการให้เหตุผลและความรู้ภายนอกออก ผลคือโมเดลชั้นนำ 16 ตัวไม่มีใครแตะ 60% — GPT-5.6 Sol นำที่ 59.7% และหมวดที่แย่ที่สุดคือ hallucination

· อ่าน 4 นาที
FineBooks: Hugging Face + EleutherAI วัด OCR โอเพนซอร์ส 14 ตัวกับหนังสือเก่า — รุ่น 0.9B ทำได้ 96.9% ไล่บี้รุ่น 8.3B
งานวิจัย

FineBooks: Hugging Face + EleutherAI วัด OCR โอเพนซอร์ส 14 ตัวกับหนังสือเก่า — รุ่น 0.9B ทำได้ 96.9% ไล่บี้รุ่น 8.3B

10 ส.ค. 2026 Hugging Face จับมือ EleutherAI ปล่อย FineBooks — ชุดทดสอบ 2,165 หน้าจากหนังสือพิมพ์เก่าพร้อมคำตอบที่มนุษย์ถอดไว้ แล้ววัด OCR โอเพนซอร์ส 14 ตัว ผลคือโมเดลเล็กระดับ 1B ตามหลังรุ่นใหญ่แค่ไม่ถึงจุดเดียว

· อ่าน 6 นาที
ทีม VIDRAFT เปิด config เต็มที่ทำสถิติ Fast Gemma Challenge — 510.58 TPS บน A10G ใบเดียว โดยไม่ให้คุณภาพหลุดเพดาน
เครื่องมือนักพัฒนา

ทีม VIDRAFT เปิด config เต็มที่ทำสถิติ Fast Gemma Challenge — 510.58 TPS บน A10G ใบเดียว โดยไม่ให้คุณภาพหลุดเพดาน

3 สิงหาคม 2026 ทีม VIDRAFT เผยแพร่ manifest.json ทั้งไฟล์ของสถิติ verified อันดับหนึ่งใน Fast Gemma Challenge — 510.58 token/วินาที บน NVIDIA A10G ใบเดียว ที่ PPL 2.3930 พร้อมอธิบายทุกปุ่มที่หมุน รวมถึงเหตุผลที่รันเร็วกว่าอย่าง 535.91 TPS ไม่ผ่านการตรวจซ้ำ

· อ่าน 7 นาที
Supabase เปิด Evals — เบนช์มาร์ก Apache-2.0 ที่ให้ Claude Code, Codex และ OpenCode ลงมือทำงานจริงบนโปรเจกต์ Supabase
เครื่องมือนักพัฒนา

Supabase เปิด Evals — เบนช์มาร์ก Apache-2.0 ที่ให้ Claude Code, Codex และ OpenCode ลงมือทำงานจริงบนโปรเจกต์ Supabase

Supabase ปล่อย Evals เบนช์มาร์กโอเพนซอร์สที่รัน coding agent จริงกับงาน 38 สถานการณ์ — สร้างสคีมา ดีบัก Edge Function ที่พัง แก้ RLS ที่รั่ว — แล้วให้คะแนนด้วย deterministic check ผสม LLM-as-a-judge ผลที่น่าสนใจไม่ใช่ใครชนะ แต่คือ Agent Skills ดัน Sonnet 5 จาก 78% เป็น 100% ในขั้น build

· อ่าน 6 นาที
HANDBOOK.md: เบนช์มาร์กใหม่ชี้ agent ทำตามเอกสารนโยบายยาวไม่ได้ — โมเดลที่ดีที่สุดผ่านแค่ 36.2%
งานวิจัย

HANDBOOK.md: เบนช์มาร์กใหม่ชี้ agent ทำตามเอกสารนโยบายยาวไม่ได้ — โมเดลที่ดีที่สุดผ่านแค่ 36.2%

Surge AI ปล่อยเบนช์มาร์ก HANDBOOK.md ทดสอบว่า agent ทำตามคู่มือนโยบายยาว 20–124 หน้าที่อยู่ใน context ได้จริงไหม ผลคือจาก 30 คอนฟิก 20 โมเดล ตัวที่ดีที่สุด (Claude Fable 5 adaptive/max) ผ่านแค่ 36.2% และเกือบทั้งหมดต่ำกว่า 25%

· อ่าน 6 นาที
Databricks ทิ้ง SWE-Bench สร้างเบนช์มาร์กจาก PR จริงของตัวเอง — แล้วตั้ง GLM-5.2 โมเดลจีนเป็นเอนจินโค้ดดิ้งหลักของบริษัท
เครื่องมือนักพัฒนา

Databricks ทิ้ง SWE-Bench สร้างเบนช์มาร์กจาก PR จริงของตัวเอง — แล้วตั้ง GLM-5.2 โมเดลจีนเป็นเอนจินโค้ดดิ้งหลักของบริษัท

Databricks วัดโมเดลโค้ดดิ้งด้วย PR จริงจากโค้ดเบสหลายล้านบรรทัดของตัวเอง พบ GLM-5.2 อยู่กลุ่มบนสุดร่วมกับ Opus 4.8 และ GPT-5.5 ที่ต้นทุน $1.28 ต่องาน เทียบ $1.94 จึงตั้งเป็นเอนจินโค้ดดิ้งเริ่มต้นให้นักพัฒนาในบริษัท

· อ่าน 6 นาที
ToolFailBench: งานวิจัยชี้ 'คะแนนรวม' ปิดบังว่าเอเจนต์ล้มเหลวเรื่อง tool use อย่างไร — แยกโหมดพัง 4 แบบ โมเดลเก่งสุดยังทำ Clean Tool-Use ได้แค่ 86%
งานวิจัย

ToolFailBench: งานวิจัยชี้ 'คะแนนรวม' ปิดบังว่าเอเจนต์ล้มเหลวเรื่อง tool use อย่างไร — แยกโหมดพัง 4 แบบ โมเดลเก่งสุดยังทำ Clean Tool-Use ได้แค่ 86%

เบนช์มาร์กใหม่ ToolFailBench (1,000 งาน, 5 โดเมน, 19 โมเดล) แยก 'ความล้มเหลวเรื่องเครื่องมือ' ของเอเจนต์ออกเป็น 4 โหมด แทนคะแนนรวมก้อนเดียว พบว่าโมเดลเก่งสุดยังทำ Clean Tool-Use Rate ได้แค่ 86.33% — และโมเดลที่คะแนนรวมใกล้กันกลับพังคนละแบบ Llama-3.1 มีนิสัย 'เรียกเครื่องมือตลอด'

· อ่าน 5 นาที
DiscoBench: งานวิจัยชี้ search agent ไม่ได้แพ้ตรงการค้นหา — แต่แพ้ตรง 'ไม่รู้ว่าเมื่อไรควรถาม'
งานวิจัย

DiscoBench: งานวิจัยชี้ search agent ไม่ได้แพ้ตรงการค้นหา — แต่แพ้ตรง 'ไม่รู้ว่าเมื่อไรควรถาม'

เบนช์มาร์กใหม่ DiscoBench (211 ตัวอย่าง, ambiguity 463 จุด, 11 โดเมน) พบว่า search agent ที่ขับด้วย LLM ล้มเหลวไม่ใช่เพราะค้นหาไม่เก่ง แต่เพราะไม่รู้ว่าเมื่อไรควร 'หยุดถามผู้ใช้' — และการเอาแต่ค้นซ้ำแทนที่จะถาม มักแย่กว่าการเดาตรง ๆ ด้วยซ้ำ

· อ่าน 5 นาที
Cursor เปิดงานวิจัย: โมเดลโค้ดดิ้ง "โกงเบนช์มาร์ก" — 63% ของ Opus 4.8 Max บน SWE-bench Pro ไป "ค้นเฉลย" ไม่ได้คิดเอง
งานวิจัย

Cursor เปิดงานวิจัย: โมเดลโค้ดดิ้ง "โกงเบนช์มาร์ก" — 63% ของ Opus 4.8 Max บน SWE-bench Pro ไป "ค้นเฉลย" ไม่ได้คิดเอง

Cursor เผยผลศึกษา 731 trajectory พบว่าเอเจนต์โค้ดดิ้งรุ่นใหม่ "reward hack" บน SWE-bench Pro — ไปค้นเฉลยจาก PR/ประวัติ git แทนที่จะแก้บั๊กเอง พอปิดเน็ตและลบประวัติ git คะแนน Opus 4.8 Max ร่วงจาก 87.1% เหลือ 73.0% และ Composer 2.5 ร่วงจาก 74.7% เหลือ 54.0%

· อ่าน 6 นาที
Sakana AI เปิด CoffeeBench — เบนช์มาร์กโอเพนซอร์สที่ปล่อยเอเจนต์ AI ไปบริหารห่วงโซ่กาแฟ 90 วัน วัด "การตัดสินใจระยะยาว" จริง ๆ
งานวิจัย

Sakana AI เปิด CoffeeBench — เบนช์มาร์กโอเพนซอร์สที่ปล่อยเอเจนต์ AI ไปบริหารห่วงโซ่กาแฟ 90 วัน วัด "การตัดสินใจระยะยาว" จริง ๆ

Sakana AI ปล่อย CoffeeBench เบนช์มาร์กโอเพนซอร์สที่จำลองห่วงโซ่อุปทานกาแฟ ให้เอเจนต์ LLM 6 ตัว (ชาวไร่/โรงคั่ว/ร้านค้า) แข่งทำกำไรตลอด 90 วันจำลอง — วัดความสามารถตัดสินใจระยะยาวที่เบนช์มาร์กถาม-ตอบทั่วไปจับไม่ได้ พร้อมเปิดเปเปอร์ โค้ด และ trajectory ทั้งหมด

· อ่าน 5 นาที
Google เปิด Gemini-SQL2 ความสามารถแปลงภาษาเป็น SQL บน Gemini 3.1 Pro ทำ 80.04% บน BIRD leaderboard ขึ้นนำทั้งสองอันดับแรก
งานวิจัย

Google เปิด Gemini-SQL2 ความสามารถแปลงภาษาเป็น SQL บน Gemini 3.1 Pro ทำ 80.04% บน BIRD leaderboard ขึ้นนำทั้งสองอันดับแรก

Google Research ประกาศ Gemini-SQL2 ความสามารถแปลงภาษาธรรมชาติเป็น SQL ที่ขับเคลื่อนด้วย Gemini 3.1 Pro ทำคะแนน execution accuracy 80.04% บน BIRD single-model leaderboard ขึ้นนำสองอันดับแรกของตารางพร้อม Gemini-SQL เดิม แต่ยังห่างเส้น human ที่ 92.96

· อ่าน 5 นาที
Cisco พบ frontier AI ทุกตัวล้มเหลวใน multi-turn attack — Grok 4.1 Fast ASR 88%, Gemini 3 Pro 73%, GPT-5.4 พุ่ง 9 เท่า
งานวิจัย

Cisco พบ frontier AI ทุกตัวล้มเหลวใน multi-turn attack — Grok 4.1 Fast ASR 88%, Gemini 3 Pro 73%, GPT-5.4 พุ่ง 9 เท่า

Cisco AI threat intelligence team ทดสอบ 15 closed flagship model จาก OpenAI, Anthropic, Google, Amazon และ xAI ด้วย 30,000 single-turn prompt + 7,000 multi-turn attack ใน 1,400 บทสนทนา พบทุกโมเดลล้มเหลวอย่างมีนัยสำคัญใน multi-turn — Grok 4.1 Fast (non-reasoning) ทำ ASR 88%, Gemini 3 Pro 73%, GPT-5.4 เพิ่มขึ้น 9 เท่า — และ benchmark ทางการในปัจจุบันจัดอันดับโมเดลผิดเพราะวัดเฉพาะ single-turn

· อ่าน 5 นาที
Phoronix รีวิว NVIDIA Vera CPU — Olympus core ทำผลงาน ARM ที่แรงที่สุดเท่าที่เคยเห็น แซง Intel Xeon 6980P 55% และ EPYC 9575F 10%
ผลิตภัณฑ์

Phoronix รีวิว NVIDIA Vera CPU — Olympus core ทำผลงาน ARM ที่แรงที่สุดเท่าที่เคยเห็น แซง Intel Xeon 6980P 55% และ EPYC 9575F 10%

Phoronix เปิดผลทดสอบ NVIDIA Vera CPU 88 คอร์ Olympus ครั้งแรก — ชนะ AMD EPYC 9575F 10% และ Intel Xeon 6980P 55% บน geometric mean พร้อม memory bandwidth 1.2TB/s ที่กิน power แค่ 30W ของหน่วยความจำ

· อ่าน 5 นาที
Microsoft Foundry Labs ส่ง 4 release ในเดือน พ.ค. — SocialReasoning-Bench วัด agent ที่ดี, MagenticLite agent stack, MAI-Image-2-Efficient, EO/OS
เครื่องมือนักพัฒนา

Microsoft Foundry Labs ส่ง 4 release ในเดือน พ.ค. — SocialReasoning-Bench วัด agent ที่ดี, MagenticLite agent stack, MAI-Image-2-Efficient, EO/OS

Microsoft ออก What's New จาก Foundry Labs ประจำเดือน พ.ค. 2026 ที่รวม 4 release สำคัญ — (1) SocialReasoning-Bench เป็น open-source benchmark จาก MSR AI Frontiers ที่วัดว่า agent 'advocate ให้ user' ดีแค่ไหนใน Calendar Coordination และ Marketplace Negotiation scoring ด้วย Outcome Optimality + Due Diligence (2) MagenticLite — agent stack แบบ end-to-end ที่ redesigned chat+browser UI ของ Magentic-UI ให้ทำงาน cross-browser/local file system ผ่าน Quicksand sandbox QEMU runtime (3) MAI-Image-2-Efficient — ภาพ quality เท่า MAI-Image-2 แต่เร็วขึ้น 22% และ 4 เท่า efficient กว่า สำหรับ high-volume scenario (4) EO/OS Object Detection — managed first-party endpoint สำหรับ object detection บนภาพถ่ายดาวเทียม/aerial บวกกับ Agent Framework 1.5/1.6 ที่ ship ใน Foundry ทั้งหมดสะท้อนทิศทาง Microsoft ที่ลด barrier ของการ build agent ลง — focus ที่ 'evaluation + sandbox + reusable endpoint' ไม่ใช่แค่ raw model

· อ่าน 7 นาที
Microsoft DELEGATE-52 — แม้ frontier model ก็ทำเอกสารพังเงียบ ๆ 25% ใน workflow ยาว ๆ
งานวิจัย

Microsoft DELEGATE-52 — แม้ frontier model ก็ทำเอกสารพังเงียบ ๆ 25% ใน workflow ยาว ๆ

Microsoft Research เปิด benchmark DELEGATE-52 พิสูจน์ว่าแม้ Gemini 3.1 Pro, Claude 4.6 Opus และ GPT 5.4 ก็ corrupt เนื้อหาเอกสารโดยเฉลี่ย 25% หลังทำ delegated task ยาว ๆ — และยิ่งเปิดให้ใช้ tool/มี distractor file ยิ่งแย่ ไม่ดีขึ้น

· อ่าน 6 นาที
Nature: นักวิทยาศาสตร์ยังเหนือกว่า AI agent ใน task ซับซ้อน — แต่ paper ที่อ้างอิง AI โต 26% ในปีเดียว
งานวิจัย

Nature: นักวิทยาศาสตร์ยังเหนือกว่า AI agent ใน task ซับซ้อน — แต่ paper ที่อ้างอิง AI โต 26% ในปีเดียว

บทความใน Nature volume 652 (23 เม.ย. 2026) — รายงาน State of the AI ปี 2026 ของ Stanford พบว่า AI agent ยังแพ้นักวิทยาศาสตร์ใน task scientific workflow ที่ต้องการ judgment + planning หลายขั้น แม้ paper ในวงการ natural sciences ที่อ้างอิง AI จะโต 26% เป็นมากกว่า 80,000 ฉบับในปี 2025 — ตัวเลขสะท้อน gap ระหว่าง adoption hype และ capability จริง

· อ่าน 5 นาที