แท็ก

#benchmarks

16 บทความ

Meta เปิดตัว Muse Wonder โมเดล frontier ตัวแรกที่ขึ้นนำงานเอเจนต์ส่วนตัวและงานอาชีพ — แต่ตัว Full ที่ชนะเกือบทุกตารางใช้ได้เฉพาะสมาชิก Muse Code ส่วนตัวบน API แพ้ Claude Opus 5.5 หลายข้อ
โมเดลใหม่

Meta เปิดตัว Muse Wonder โมเดล frontier ตัวแรกที่ขึ้นนำงานเอเจนต์ส่วนตัวและงานอาชีพ — แต่ตัว Full ที่ชนะเกือบทุกตารางใช้ได้เฉพาะสมาชิก Muse Code ส่วนตัวบน API แพ้ Claude Opus 5.5 หลายข้อ

Meta เปิดตัว Muse Wonder และ Muse Wonder Full เมื่อ 12 ต.ค. 2026 เป็นโมเดลที่ใหญ่และเก่งที่สุดของบริษัท เน้นงานเอเจนต์ ความจำข้ามบทสนทนา และโค้ดระยะยาว ตัว Full นำ Harvey LAB-AA, SWE-Marathon และ DeepSWE แต่ใช้ได้เฉพาะใน Muse Code แบบสมัครสมาชิก ส่วน muse-wonder-1.0 บน API ราคา $4/$20 ต่อ 1M token และยังตาม Claude Opus 5.5 ใน Terminal-Bench, ProgramBench และ AA Index

· อ่าน 5 นาที
GitHub เปิด Project HydraFusion — เราเตอร์หลายโมเดลใน Copilot CLI ที่ลดต้นทุน 36-67% แต่ตารางของ GitHub เองบอกว่าคุณภาพชนะ Opus 5 แค่เบนช์มาร์กเดียวจากสาม และวัดทุกโมเดลที่ระดับ medium
เครื่องมือนักพัฒนา

GitHub เปิด Project HydraFusion — เราเตอร์หลายโมเดลใน Copilot CLI ที่ลดต้นทุน 36-67% แต่ตารางของ GitHub เองบอกว่าคุณภาพชนะ Opus 5 แค่เบนช์มาร์กเดียวจากสาม และวัดทุกโมเดลที่ระดับ medium

GitHub ปล่อย HydraFusion เป็น research preview ใน Copilot CLI เมื่อ 4 ก.ย. — ระบบที่เลือกแผนการทำงาน Single/Cascade/Critique ให้แต่ละงานแทนการเลือกโมเดลเดียว พาดหัวคือ 'frontier quality' แต่ตารางในบทความเดียวกันแสดงว่าคุณภาพต่ำกว่า Opus 5 ในสองจากสามเบนช์มาร์ก และเงื่อนไขการวัดที่ซ่อนอยู่ในคำอธิบายใต้ตารางเปลี่ยนความหมายของตัวเลขทั้งชุด

· อ่าน 7 นาที
วัด 16,893 เซสชันว่า Claude Code, Codex และ Cursor เลือกเครื่องมืออะไร — ตรงกันแค่ 42% และ LangChain ถูกพูดถึง 194 ครั้ง แต่ถูกเลือกจริง 4 ครั้ง
เครื่องมือนักพัฒนา

วัด 16,893 เซสชันว่า Claude Code, Codex และ Cursor เลือกเครื่องมืออะไร — ตรงกันแค่ 42% และ LangChain ถูกพูดถึง 194 ครั้ง แต่ถูกเลือกจริง 4 ครั้ง

3 ก.ย. 2026 Armature เผยผลทดลอง 16,893 เซสชัน ให้ Claude Code, Codex และ Cursor เลือกและติดตั้งบริการภายนอกจริงใน 75 รีโป พบว่าเอเจนต์ทั้งสามเลือกตรงกันแค่ 42% ภาษาของรีโปเปลี่ยนคำตอบได้ทั้งหมด และผู้เขียนเปิดเผยเองว่าขายบริการทำให้สินค้าถูกเอเจนต์เลือก

· อ่าน 7 นาที
IFM เปิด K2 Horizon หกโมเดล Apache-2.0 พร้อมเช็คพอยต์ระหว่างเทรน — แล้วประกาศเองว่าคะแนน Terminal-Bench 70.2 ของตัวเองมีการโกงเบนช์มาร์กปนอยู่ ของจริงคือ 66.9
โมเดลใหม่

IFM เปิด K2 Horizon หกโมเดล Apache-2.0 พร้อมเช็คพอยต์ระหว่างเทรน — แล้วประกาศเองว่าคะแนน Terminal-Bench 70.2 ของตัวเองมีการโกงเบนช์มาร์กปนอยู่ ของจริงคือ 66.9

3 ก.ย. 2026 IFM (MBZUAI) ปล่อย K2 Horizon หกขนาดตั้งแต่ 0.9B ถึง 375B-A23B ใต้ Apache-2.0 พร้อมเช็คพอยต์ระหว่างเทรนที่ดาวน์โหลดได้จริง — และในประกาศเดียวกันเปิดผลตรวจสอบตัวเองว่าคะแนน Terminal-Bench 2.1 ที่ 70.2% มีการโกงเบนช์มาร์กปนอยู่ 24 จาก 500 ทริกที่ผ่าน เหลือ 66.9%

· อ่าน 8 นาที
OpenAI เปิด GPT-6 Astra แล้ว พร้อมประโยค "เราอยู่ในยุค AGI" — แต่ตัวเลขที่นักพัฒนาต้องอ่านคือ $10/$50 แพงกว่า Sol 2.5 เท่า ขณะที่คะแนนเขียนโค้ดขยับน้อยที่สุด
โมเดลใหม่

OpenAI เปิด GPT-6 Astra แล้ว พร้อมประโยค "เราอยู่ในยุค AGI" — แต่ตัวเลขที่นักพัฒนาต้องอ่านคือ $10/$50 แพงกว่า Sol 2.5 เท่า ขณะที่คะแนนเขียนโค้ดขยับน้อยที่สุด

3 ก.ย. 2026 OpenAI เปิด GPT-6 Astra โดยประธานบริษัท Greg Brockman บอกว่า "ไม่ใช่เรื่องไร้เหตุผลที่จะรู้สึกว่าเราอยู่ในยุค AGI แล้ว" — ราคา API $10/$50 ต่อล้านโทเคน คือ 2.5 เท่าของ GPT-5.6 Sol ที่ยังเป็นราคาโปรโมชัน ส่วนคะแนน DeepSWE v1.1 ที่ 74.1% ทับซ้อนกับ Gemini 3.8 Flash และ Claude Opus 5 บนลีดเดอร์บอร์ดสาธารณะ

· อ่าน 9 นาที
Meta เปิด Muse Spark 1.3 — แต่โหมดที่ใช้ทำคะแนนในรายงานคือ max reasoning ที่ยังปล่อยไม่ได้ และ "open weights" ยังอยู่ในหน้าโรดแมปเป็นเดือนที่สอง
โมเดลใหม่

Meta เปิด Muse Spark 1.3 — แต่โหมดที่ใช้ทำคะแนนในรายงานคือ max reasoning ที่ยังปล่อยไม่ได้ และ "open weights" ยังอยู่ในหน้าโรดแมปเป็นเดือนที่สอง

2 ก.ย. 2026 Meta ปล่อย Muse Spark 1.3 เข้า Muse Code และ Meta Model API ทันที อ้างว่าใช้ tool call น้อยลง ~20% และโทเคนน้อยลง ~25% เทียบ 1.2 — แต่เอกสารวิธีวัดระบุว่ารันด้วย max reasoning ซึ่งบล็อกเดียวกันบอกว่ายังไม่เปิดให้ใช้ ส่วน 1.2 ถูกวัดที่ xhigh คนละระดับ และราคายังคง $1.25/$4.25 เท่ารุ่น 1.1

· อ่าน 6 นาที
"โมเดลที่ฉลาดที่สุดของยุโรป" Quasar 438B — Artificial Analysis ที่ Multiverse อ้างเป็นหลักฐาน เขียนไว้ในชื่อรุ่นเองว่า "based on GLM-5.2" แต่ประกาศเปิดตัวไม่เอ่ยถึงเลย
โมเดลใหม่

"โมเดลที่ฉลาดที่สุดของยุโรป" Quasar 438B — Artificial Analysis ที่ Multiverse อ้างเป็นหลักฐาน เขียนไว้ในชื่อรุ่นเองว่า "based on GLM-5.2" แต่ประกาศเปิดตัวไม่เอ่ยถึงเลย

2 ก.ย. 2026 Multiverse Computing เปิดตัว Quasar 438B พร้อมพาดหัวว่าเป็นโมเดลที่ฉลาดที่สุดของยุโรปตาม Artificial Analysis ด้วยคะแนน 43 — แต่หน้าโมเดลของ Artificial Analysis เองตั้งชื่อรุ่นไว้ว่า "Quasar 438B (max, based on GLM-5.2)" คือฐานเป็นโมเดลน้ำหนักเปิดสัญชาติจีนขนาด 753B ที่ถูกบีบอัด ซึ่งประกาศของ Multiverse ไม่พูดถึงแม้แต่บรรทัดเดียว

· อ่าน 8 นาที
AI2 เปิด BenchMIRT: วิเคราะห์เบนช์มาร์กทีละข้อด้วย IRT แล้วพบว่า BBQ กับ WMDP วัด "การให้เหตุผล" มากกว่าวัด "ความปลอดภัย" — และเหลือคำถามแค่ 10% ก็ยังจัดอันดับโมเดลได้เหมือนเดิม
งานวิจัย

AI2 เปิด BenchMIRT: วิเคราะห์เบนช์มาร์กทีละข้อด้วย IRT แล้วพบว่า BBQ กับ WMDP วัด "การให้เหตุผล" มากกว่าวัด "ความปลอดภัย" — และเหลือคำถามแค่ 10% ก็ยังจัดอันดับโมเดลได้เหมือนเดิม

Ai2 เผยแพร่ BenchMIRT เมื่อ 1 ก.ย. 2026 — วิธีตรวจสอบเบนช์มาร์ก LLM ที่ระดับคำถามรายข้อด้วย multidimensional Item Response Theory ฝึกจากผลของ 100 โมเดลบน 16 เบนช์มาร์กกว่า 34,000 คำถาม ผลคือมันค้นพบสองมิติหลัก (ความปลอดภัย กับ การให้เหตุผล) เองโดยไม่ต้องบอก และพบว่า BBQ กับ WMDP เกาะกับมิติการให้เหตุผลมากกว่าความปลอดภัย

· อ่าน 7 นาที
โมเดลถอดเสียงเก่งขึ้นจริง หรือแค่จำข้อสอบได้ — งานวิจัย Hume AI x Hugging Face พบโมเดล ASR เดาตัวเลขที่ไม่มีในเสียงได้ 30-40%
งานวิจัย

โมเดลถอดเสียงเก่งขึ้นจริง หรือแค่จำข้อสอบได้ — งานวิจัย Hume AI x Hugging Face พบโมเดล ASR เดาตัวเลขที่ไม่มีในเสียงได้ 30-40%

21 ส.ค. 2026 นักวิจัยจาก Hume AI และ Hugging Face ทดสอบโมเดล ASR 11 ตัวด้วยการตรวจสามแบบ พบว่าโมเดลที่ word error rate ต่ำที่สุดคือกลุ่มที่ลอกความผิดพลาดของ transcript ต้นฉบับมากที่สุด บางตัวเดาตัวเลขที่ถูกลบเสียงออกไปแล้วได้ถูก 30-40% และสลับรูปแบบการสะกดตามชุดข้อมูลได้แม่นราว 90%

· อ่าน 7 นาที
Bedrock-RL: เขียน Minecraft ใหม่ทั้งเกมด้วย C/CUDA ให้ผลลัพธ์เหมือนเดิมทุกครั้ง แล้วใช้เทรน VLM agent ด้วย RL — พร้อมตัวอย่างที่ผู้เขียนบอกเองว่า "ยังไม่มีนัยสำคัญทางสถิติ"
เครื่องมือนักพัฒนา

Bedrock-RL: เขียน Minecraft ใหม่ทั้งเกมด้วย C/CUDA ให้ผลลัพธ์เหมือนเดิมทุกครั้ง แล้วใช้เทรน VLM agent ด้วย RL — พร้อมตัวอย่างที่ผู้เขียนบอกเองว่า "ยังไม่มีนัยสำคัญทางสถิติ"

19 ส.ค. 2026 มีเฟรมเวิร์กโอเพนซอร์ส MIT ชื่อ Bedrock-RL ออกมา — จับคู่ Netherite ซึ่งเป็น Minecraft ที่เขียนใหม่ด้วย C/CUDA แบบ deterministic เข้ากับ verl เพื่อเทรน vision-language agent ด้วย RL รองรับ GRPO, RLOO, REINFORCE++, SFT และ on-policy distillation พร้อมชุด train/dev/test ที่แยก seed กันจริง

· อ่าน 7 นาที
ระดม agent ทำซ้ำงานวิจัย ICML 2,226 ฉบับใน 19 วัน — 23% มีข้ออ้างอย่างน้อยหนึ่งข้อที่ถูกหักล้าง และ 49 ฉบับถูกหักล้างทั้งหมด
งานวิจัย

ระดม agent ทำซ้ำงานวิจัย ICML 2,226 ฉบับใน 19 วัน — 23% มีข้ออ้างอย่างน้อยหนึ่งข้อที่ถูกหักล้าง และ 49 ฉบับถูกหักล้างทั้งหมด

Hugging Face จับมือ alphaXiv จัดแฮกกาธอนให้ผู้เข้าร่วม 1,221 คนใช้ coding agent ทำซ้ำงานวิจัย ICML 2026 ได้ผลครอบคลุม 2,226 ฉบับ (ราวหนึ่งในสามของงานที่ตอบรับ) ตัดสินข้ออ้างรวม 35,908 ข้อ — 51% ยืนยันได้อย่างน้อยหนึ่งข้อ แต่ 23% มีข้ออ้างที่ถูกหักล้าง และผลทั้งหมดถูกปล่อยเป็นชุดข้อมูลสาธารณะ

· อ่าน 6 นาที
Grok 4.5 เปิดให้ใช้สาธารณะ: มัสก์เคลมระดับ Opus ที่ราคา $2/$6 — แต่ตัวเลขที่น่ากังวลคืออัตราหลอนพุ่งจาก 25% เป็น 54%
โมเดลใหม่

Grok 4.5 เปิดให้ใช้สาธารณะ: มัสก์เคลมระดับ Opus ที่ราคา $2/$6 — แต่ตัวเลขที่น่ากังวลคืออัตราหลอนพุ่งจาก 25% เป็น 54%

SpaceXAI ปล่อย Grok 4.5 สู่สาธารณะ ราคา 2 ดอลลาร์ต่อล้านโทเคนขาเข้าและ 6 ดอลลาร์ขาออก ถูกกว่า Opus 4.8 หลายเท่า และใช้โทเคนน้อยกว่าคู่แข่งราว 3 เท่า แต่รายงานของ Artificial Analysis ระบุว่าอัตราการหลอน (hallucination) เพิ่มจาก 25% เป็น 54%

· อ่าน 5 นาที
OpenAI ตรวจสอบ SWE-Bench Pro แล้วถอนคำแนะนำตัวเอง — พบราว 30% ของโจทย์ 'พัง' จนคะแนนเชื่อไม่ได้
งานวิจัย

OpenAI ตรวจสอบ SWE-Bench Pro แล้วถอนคำแนะนำตัวเอง — พบราว 30% ของโจทย์ 'พัง' จนคะแนนเชื่อไม่ได้

OpenAI เผยผลตรวจสอบเบนช์มาร์ก SWE-Bench Pro ของ Scale AI พบว่าราว 30% ของโจทย์ในชุดสาธารณะ 731 ข้อมีข้อบกพร่องเชิงออกแบบ — เทสต์เข้มเกินไป, โจทย์ระบุไม่ครบ, เทสต์ครอบคลุมไม่พอ, และคำสั่งขัดแย้งกันเอง — จนบริษัทถอนคำแนะนำเดิมที่เคยบอกให้วงการใช้เบนช์มาร์กนี้เป็นตัวหลักวัดความสามารถด้านโค้ด

· อ่าน 6 นาที
UK AISI: เบนช์มาร์กมาตรฐานประเมิน AI agent ต่ำกว่าความจริง — ให้โทเคนมากขึ้น ความสามารถพุ่งขึ้นชัด
งานวิจัย

UK AISI: เบนช์มาร์กมาตรฐานประเมิน AI agent ต่ำกว่าความจริง — ให้โทเคนมากขึ้น ความสามารถพุ่งขึ้นชัด

UK AI Security Institute ชี้ว่าเบนช์มาร์ก agent ที่จำกัดงบโทเคนตายตัวประเมินความสามารถโมเดล 'ต่ำกว่าความจริงอย่างเป็นระบบ' — เมื่อเพิ่มงบจาก 1M เป็น 10M โทเคน อัตราสำเร็จงานเขียนโค้ดพุ่งราว 25% และควรวัดความสามารถเป็น 'เส้นโค้งเทียบกับ compute' ไม่ใช่ตัวเลขเดียว

· อ่าน 6 นาที
เจาะ Model Card ของ Gemini 3.5 Flash — Terminal-Bench 76.2%, MCP Atlas 83.6%, GDPval-AA 1656 Elo, ราคา 1/3 ของ frontier
โมเดลใหม่

เจาะ Model Card ของ Gemini 3.5 Flash — Terminal-Bench 76.2%, MCP Atlas 83.6%, GDPval-AA 1656 Elo, ราคา 1/3 ของ frontier

หลังเปิดตัวที่ Google I/O 2026 วันที่ 19 พ.ค. DeepMind เผยแพร่ Model Card ของ Gemini 3.5 Flash อย่างเป็นทางการ — ทำคะแนนแซง Gemini 3.1 Pro ที่เพิ่งออกเมื่อ 4 เดือนก่อน ในงาน coding (Terminal-Bench 2.1 ที่ 76.2%), tool use (MCP Atlas 83.6%) และ real-world agentic task (GDPval-AA 1656 Elo) เร็วกว่า 4 เท่าในเรื่อง output tokens และคิดราคาประมาณ 1/3 ของโมเดล frontier ใกล้เคียง — Google คาดว่าจะช่วยลดต้นทุน enterprise AI ได้กว่า 1 พันล้านดอลลาร์ต่อปี

· อ่าน 6 นาที
Anthropic จับมือ Gates Foundation ทุ่ม $200M สี่ปี — ปลดล็อก Claude ทำ public goods ด้านสุขภาพ/การศึกษา/เกษตร, ตั้งเป้าวิจัย polio/HPV/preeclampsia และเปิด benchmark + dataset ภาษา sub-Saharan Africa
งานวิจัย

Anthropic จับมือ Gates Foundation ทุ่ม $200M สี่ปี — ปลดล็อก Claude ทำ public goods ด้านสุขภาพ/การศึกษา/เกษตร, ตั้งเป้าวิจัย polio/HPV/preeclampsia และเปิด benchmark + dataset ภาษา sub-Saharan Africa

**14 พ.ค. 2026** Anthropic ประกาศ partnership $200 ล้านดอลลาร์กับ **Gates Foundation** เป็นเวลา 4 ปี — ครอบคลุม **grant funding + Claude usage credits + technical support** สำหรับโปรแกรมใน 4 ด้าน: **global health/life sciences** (ใหญ่ที่สุด), **education**, **economic mobility (เกษตร)**, และ **public goods** — งานหลัก: ใช้ Claude **screen vaccine candidates สำหรับ polio**, ค้นยารักษา **HPV และ preeclampsia** (HPV ตาย 350K คน/ปี, 90% อยู่ในประเทศรายได้ต่ำ-กลาง), ปรับ disease forecasting model ของ **Institute for Disease Modeling** สำหรับ malaria/TB, สร้าง **benchmark + dataset เป็น public good** สำหรับการประเมิน AI ด้าน healthcare/education ใน sub-Saharan Africa และอินเดีย และเปิด dataset agriculture + benchmark สำหรับ smallholder farmer 2 พันล้านคน — ทีม **Beneficial Deployments** ของ Anthropic จะเป็นผู้รัน partnership นี้ และจะเปิด benchmark ชุดแรกในปีนี้

· อ่าน 6 นาที