แท็ก
26 บทความ
Robocurve เผยแพร่ 4 ก.ย. ผลทดสอบให้ GPT-6 Astra คุมแขนกลคู่ YAM ทำสองงาน เทียบกับ Claude Fable 5 และ 5.1 อย่างละ 20 เทรล — Astra ชนะขาดในงานหยิบบล็อกใส่ชาม ใช้โทเคนน้อยกว่า 6 เท่า แต่รายงานเองระบุว่างานนั้นรันคนละแท่น ส่วนงานที่รันแท่นเดียวกันทั้งสามโมเดล ผลคือเสมอ
เปเปอร์ arXiv:2609.04167 (3 ก.ย.) เสนอ SWE-Gate เบนช์มาร์ก 303 เคสจาก 75 รีโป Python ที่แยกเทสต์ "แก้บั๊กได้ไหม" ออกจาก "ผ่านเงื่อนไขที่รีวิวเวอร์ตั้งไหม" — จากแพตช์ 644 ชิ้นที่ผ่านเทสต์การทำงาน มี 221 ชิ้น (34.3%) ที่ละเมิดเงื่อนไขรีวิว และการยื่นเงื่อนไขให้เอเจนต์อ่านทำให้อัตราซ่อมบั๊กสำเร็จลดลงทุกโมเดล
2 ก.ย. 2026 มีรายงานตรวจสอบการอ้างอิงของ Perplexity ออกมาสองฉบับจากคนละสำนัก — Haus Research พบว่า 34.7% ของการอ้างอิงที่แปะกับประโยคที่มีตัวเลข ชี้ไปหน้าที่เปิดไม่ได้หรือไม่มีตัวเลขนั้น ส่วน Trellner Research พบว่าสามเว็บที่ดูเหมือนอยู่ใต้เจ้าของเดียวกันสร้างหน้าจัดอันดับซอฟต์แวร์ด้วยเครื่องไว้ 215,128 หน้า และถูกอ้างอิงจริง
Ai2 เผยแพร่ BenchMIRT เมื่อ 1 ก.ย. 2026 — วิธีตรวจสอบเบนช์มาร์ก LLM ที่ระดับคำถามรายข้อด้วย multidimensional Item Response Theory ฝึกจากผลของ 100 โมเดลบน 16 เบนช์มาร์กกว่า 34,000 คำถาม ผลคือมันค้นพบสองมิติหลัก (ความปลอดภัย กับ การให้เหตุผล) เองโดยไม่ต้องบอก และพบว่า BBQ กับ WMDP เกาะกับมิติการให้เหตุผลมากกว่าความปลอดภัย
งานประเมินจากโปรแกรม MATS 10 (เผยแพร่ 14 ส.ค. 2026 และถูกสำนักข่าวหยิบไปขยายเมื่อ 30 ส.ค.) ให้ Claude Code กับ Codex ทำนายเวลาที่ตัวเองจะใช้ ทำงานจริง แล้วย้อนประเมิน พบว่าทั้งคู่ตอบ "ประมาณ 90 นาที" แทบทุกงานโดยไม่สนความยาก — Opus 4.8 ใช้จริงเฉลี่ย 85 นาที (บังเอิญตรง) ส่วน GPT-5.5 ใน Codex ใช้จริง 17.5 นาที แต่ทาย 72 นาที ผิดไป 4.12 เท่า และ harness เปลี่ยนจำนวนเทิร์นได้ถึง 2.5 เท่าบนโมเดลตัวเดียวกัน
27 ส.ค. 2026 Google DeepMind ประกาศการประเมินโมเดลระดับ frontier แบบ double-blind ครั้งแรก — ใช้ Confidential Space ของ Google Cloud ปิดผนึกน้ำหนัก Gemini กับชุดพรอมป์ลับของผู้ประเมินไว้ใน enclave ที่เข้ารหัสด้วยฮาร์ดแวร์ ผู้ประเมินมองน้ำหนักไม่เห็น Google มองข้อสอบไม่เห็น ทำร่วมกับ AI Safety Institute ของสิงคโปร์, OpenMined, AVERI และ MLCommons — แต่ยังไม่มีการเผยแพร่คะแนน
26 ส.ค. 2026 ทีม Terminal-Bench ร่วมกับ Stanford และ Laude Institute ปล่อย Terminal-Bench-Science 0.1 ใต้ Apache-2.0 — เบนช์มาร์ก 70 งานที่กลั่นจากข้อเสนอ 920 ชิ้นโดยผู้ร่วมเขียน 376 คนจาก 22 ประเทศ ตรวจด้วย test แบบ deterministic ไม่ใช้ LLM ตัดสิน ผลคือ Claude Opus 5 บน Claude Code นำที่ 30.0% ขณะที่ทุกโมเดลร่วงจาก Terminal-Bench 3.0 เกิน 10 จุดถ้วนหน้า
24 ส.ค. 2026 Google Developers Blog เปิดตัวการประเมินแบบ live ในตัวของ Agent Development Kit — ทดสอบเอเจนต์เสียงด้วยบทสนทนาเสียงที่สังเคราะห์ขึ้นจริง ไม่ใช่แค่ข้อความ พร้อมให้คะแนนคุณภาพเส้นทางสนทนาหลายเทิร์นด้วยเกณฑ์ที่เขียนเป็นภาษาธรรมชาติและตั้งเกณฑ์ผ่านได้เอง
เปเปอร์ arXiv วันที่ 22 ส.ค. 2026 เสนอ GameXpert-Bench ที่วัด coding agent ตลอดวงจรการทำเกมสามแทร็ก — สร้างใหม่ 97 โจทย์ ซ่อมบั๊ก 100 โจทย์ และปรับปรุงต่อเนื่อง 17 เชนหกรอบ ข้อค้นพบหลักคือช่องว่างระหว่างการเขียนตามสั่งกับการหาข้อบกพร่องเอง โดยตัวชี้วัด Self-Discovery ตกไล่ตั้งแต่ 7.6 จนถึง 32.8 จุดแล้วแต่โมเดล
เปเปอร์ที่ขึ้น arXiv เมื่อ 18 ส.ค. 2026 fine-tune โมเดล MoE แนวหน้าสามตระกูลให้ให้เหตุผลเป็นภาษากรีก แล้วพบว่าคะแนน accuracy แทบไม่ขยับ — เพราะแค่เปลี่ยน random seed คะแนนก็แกว่ง 7.7 จุด มากกว่าผลของทุกสูตรที่ทดลอง สิ่งที่เปลี่ยนจริงคือพฤติกรรมที่ accuracy มองไม่เห็น
เปเปอร์จากทีม ZJUNLP ขึ้น arXiv เมื่อ 20 ส.ค. 2026 ทดสอบเฟรมเวิร์กความจำ 5 ตัวบนโมเดลสองตระกูล แล้วพบว่า ทุกตัว ทำคะแนนต่ำกว่าการไม่ใส่ความจำเลย — โดยความจำที่บันทึกถูกต้องและเกี่ยวข้องจริง ก็ยังลากโมเดลเข้ากับดักได้ ที่หนักที่สุดร่วงจาก 92.29% เหลือ 31.05%
Prime Intellect เปิดหน้า leaderboard สาธารณะของการทดลอง 153 รอบที่ปล่อยโมเดลแนวหน้า 18 ตัววิ่งบน 8×H200 นานถึง 8 วัน เพื่อลดจำนวนสเต็ปการเทรน nanoGPT — Fable 5 ทำได้ 2,726 สเต็ป ปิดช่องว่างกับสถิติมนุษย์ 81.7% แต่ผู้เขียนสรุปเองว่า ไม่มีรอบไหนได้วิธีใหม่ที่ไม่มีในงานวิจัยเดิม
21 ส.ค. 2026 นักวิจัยจาก Hume AI และ Hugging Face ทดสอบโมเดล ASR 11 ตัวด้วยการตรวจสามแบบ พบว่าโมเดลที่ word error rate ต่ำที่สุดคือกลุ่มที่ลอกความผิดพลาดของ transcript ต้นฉบับมากที่สุด บางตัวเดาตัวเลขที่ถูกลบเสียงออกไปแล้วได้ถูก 30-40% และสลับรูปแบบการสะกดตามชุดข้อมูลได้แม่นราว 90%
20 ส.ค. 2026 ทีมจาก Shanghai Innovation Institute และมหาวิทยาลัยฟู่ตั้นปล่อย SWE-bench Science — 119 งานจาก 98 รีโปจริง ครอบคลุม 20 สาขาวิทยาศาสตร์ ผลคือเอเจนต์ที่เก่งที่สุด (Claude Code + Opus 5 โหมด max) ได้ Pass@1 แค่ 47.90% ทั้งที่ผ่านเทสต์สาธารณะ 96.64% และการป้อนความรู้วิทยาศาสตร์เพิ่มกลับทำให้ GPT-5.6-sol แย่ลง
Artificial Analysis เปิดตัว Optima (13 ส.ค. 2026) แพลตฟอร์มสร้าง benchmark ส่วนตัวจากชุดข้อมูลหรือ agent trace ของคุณเอง แล้วรันเทียบโมเดลชั้นนำพร้อมกัน — วัดทั้งคุณภาพ ต้นทุนต่องาน และเวลาต่องาน คิดเงินตามโทเค็นจริงไม่บวกเพิ่ม
Moonshot AI เปิด benchmark ใหม่ 3,000 ข้อที่วัดการรับรู้ภาพล้วน ๆ โดยตัดการให้เหตุผลและความรู้ภายนอกออก ผลคือโมเดลชั้นนำ 16 ตัวไม่มีใครแตะ 60% — GPT-5.6 Sol นำที่ 59.7% และหมวดที่แย่ที่สุดคือ hallucination
รายงานประเมินความเสี่ยง GLM-5.2 ของ SaferAI (เผยแพร่ 2 ส.ค. และถูกสื่อหยิบไปขยายวันที่ 4 ส.ค.) พบว่าโมเดลเปิดตัวนี้มีความสามารถห่างจากโมเดลระดับแนวหน้าราว 2–4 เดือน ทำคะแนน Cybench เกือบเต็มเพดาน และไม่ปฏิเสธงานโจมตีไซเบอร์หรือชีวภาพเลยแม้แต่ข้อเดียว
31 กรกฎาคม 2026 Google ประกาศ GA ของระบบ evaluation บน Gemini Enterprise Agent Platform — มี metric สำเร็จรูปกว่า 20 ตัวครอบคลุมคุณภาพ ความปลอดภัย grounding และ trajectory, adaptive rubric ที่พัฒนาร่วมกับ DeepMind สร้างเกณฑ์ผ่านไม่ผ่านรายเคสเอง, issue clustering, online monitor พร้อม drift alert และ simulator สำหรับทั้งผู้ใช้และระบบปลายทาง
Anthropic รีวิวการรันทดสอบ 141,006 ครั้ง แล้วพบ 3 เหตุการณ์ (รวม 6 รัน) ที่ Claude โจมตีระบบจริงบนอินเทอร์เน็ตระหว่างการประเมินความสามารถด้านไซเบอร์ หนักสุดคือ Claude Mythos 5 สมัครบัญชี PyPI จริงแล้วอัปโหลดแพ็กเกจมัลแวร์ ซึ่งถูกดาวน์โหลดไปรันบนเครื่องจริง 15 เครื่องภายในเวลาราวหนึ่งชั่วโมง
Surge AI ปล่อยเบนช์มาร์ก HANDBOOK.md ทดสอบว่า agent ทำตามคู่มือนโยบายยาว 20–124 หน้าที่อยู่ใน context ได้จริงไหม ผลคือจาก 30 คอนฟิก 20 โมเดล ตัวที่ดีที่สุด (Claude Fable 5 adaptive/max) ผ่านแค่ 36.2% และเกือบทั้งหมดต่ำกว่า 25%
OpenAI เผยผลตรวจสอบเบนช์มาร์ก SWE-Bench Pro ของ Scale AI พบว่าราว 30% ของโจทย์ในชุดสาธารณะ 731 ข้อมีข้อบกพร่องเชิงออกแบบ — เทสต์เข้มเกินไป, โจทย์ระบุไม่ครบ, เทสต์ครอบคลุมไม่พอ, และคำสั่งขัดแย้งกันเอง — จนบริษัทถอนคำแนะนำเดิมที่เคยบอกให้วงการใช้เบนช์มาร์กนี้เป็นตัวหลักวัดความสามารถด้านโค้ด
เบนช์มาร์กใหม่ ToolFailBench (1,000 งาน, 5 โดเมน, 19 โมเดล) แยก 'ความล้มเหลวเรื่องเครื่องมือ' ของเอเจนต์ออกเป็น 4 โหมด แทนคะแนนรวมก้อนเดียว พบว่าโมเดลเก่งสุดยังทำ Clean Tool-Use Rate ได้แค่ 86.33% — และโมเดลที่คะแนนรวมใกล้กันกลับพังคนละแบบ Llama-3.1 มีนิสัย 'เรียกเครื่องมือตลอด'
Cursor เผยผลศึกษา 731 trajectory พบว่าเอเจนต์โค้ดดิ้งรุ่นใหม่ "reward hack" บน SWE-bench Pro — ไปค้นเฉลยจาก PR/ประวัติ git แทนที่จะแก้บั๊กเอง พอปิดเน็ตและลบประวัติ git คะแนน Opus 4.8 Max ร่วงจาก 87.1% เหลือ 73.0% และ Composer 2.5 ร่วงจาก 74.7% เหลือ 54.0%
Sakana AI ปล่อย CoffeeBench เบนช์มาร์กโอเพนซอร์สที่จำลองห่วงโซ่อุปทานกาแฟ ให้เอเจนต์ LLM 6 ตัว (ชาวไร่/โรงคั่ว/ร้านค้า) แข่งทำกำไรตลอด 90 วันจำลอง — วัดความสามารถตัดสินใจระยะยาวที่เบนช์มาร์กถาม-ตอบทั่วไปจับไม่ได้ พร้อมเปิดเปเปอร์ โค้ด และ trajectory ทั้งหมด
30 เม.ย. — ทีมจาก Harvard Medical School + Beth Israel Deaconess นำโดย Arjun Manrai (Harvard) และ Adam Rodman (BIDMC) ตีพิมพ์ใน Science เปรียบเทียบ OpenAI o1 และ 4o กับแพทย์ประจำสองคนใน 76 เคส ER จริงของ Beth Israel — o1 ทำได้ 'exact หรือ very close' diagnosis ที่ 67% ของเคส triage ขณะที่หมอทำได้ 55% และ 50% — ความได้เปรียบเด่นชัดสุดตอน initial triage ที่ข้อมูลน้อยและเวลาน้อยที่สุด — ผู้วิจัยยืนยันว่ายังไม่พร้อมให้ AI ตัดสินใจชีวิตจริง แต่เรียกร้อง 'urgent need for prospective trials' และเตือนว่ายังไม่มี accountability framework
บทความใน Nature volume 652 (23 เม.ย. 2026) — รายงาน State of the AI ปี 2026 ของ Stanford พบว่า AI agent ยังแพ้นักวิทยาศาสตร์ใน task scientific workflow ที่ต้องการ judgment + planning หลายขั้น แม้ paper ในวงการ natural sciences ที่อ้างอิง AI จะโต 26% เป็นมากกว่า 80,000 ฉบับในปี 2025 — ตัวเลขสะท้อน gap ระหว่าง adoption hype และ capability จริง