แท็ก

#Benchmarks

13 บทความ

Ponytail skill ดาว 155,000 ดวงเพิ่งพบว่าบรรทัด $schema บรรทัดเดียวทำให้ Codex, VS Code และ Qwen Code โหลดปลั๊กอินแบบไม่มี hook จนกฎไม่ถึงโมเดลอยู่ 2 วัน — และ /ponytail-gain เพิ่งเลิกโชว์ตัวเลขเก่าที่เกินจริง
AI Skills

Ponytail skill ดาว 155,000 ดวงเพิ่งพบว่าบรรทัด $schema บรรทัดเดียวทำให้ Codex, VS Code และ Qwen Code โหลดปลั๊กอินแบบไม่มี hook จนกฎไม่ถึงโมเดลอยู่ 2 วัน — และ /ponytail-gain เพิ่งเลิกโชว์ตัวเลขเก่าที่เกินจริง

Ponytail (MIT) สกิลที่สั่งให้เอเจนต์เขียนโค้ดให้น้อยที่สุด ออก v4.11.0 เมื่อ 4 ต.ค. เพื่อถอดบรรทัด $schema ของ Agent Plugins ที่เพิ่มเข้ามาใน v4.10.2 ซึ่งทำให้ Codex, VS Code และ Qwen Code โหลดแค่ skill แต่ไม่โหลด hook ทำให้กฎหลักไม่ถึงโมเดลเลย จากนั้น v4.12.0 (5 ต.ค.) ก็เปลี่ยนคำสั่ง /ponytail-gain ให้แสดงตัวเลขจากเบนช์มาร์กแบบเอเจนต์จริง (โค้ดน้อยลง 54%, ถูกลง 20%) แทนตัวเลขเดิม 80–94% ที่ README ยอมรับว่าเกินจริง

· อ่าน 5 นาที
Google เปิดตัว Gemini 4 Argon — โมเดลระดับสูงสุดตัวแรกในรอบกว่า 7 เดือน ตอบได้ยาวถึง 1M โทเคน ราคาช่วงแรก $2/$10 แต่ตอนนี้ยังให้ใช้เฉพาะกลุ่มนักป้องกันไซเบอร์
โมเดลใหม่

Google เปิดตัว Gemini 4 Argon — โมเดลระดับสูงสุดตัวแรกในรอบกว่า 7 เดือน ตอบได้ยาวถึง 1M โทเคน ราคาช่วงแรก $2/$10 แต่ตอนนี้ยังให้ใช้เฉพาะกลุ่มนักป้องกันไซเบอร์

Google ประกาศ Gemini 4 Argon เมื่อ 30 ก.ย. เพิ่มเพดาน output จาก 64K เป็น 1M โทเคน ราคาช่วงแนะนำ $2/$10 (ปกติ $4/$20) ได้ 53 คะแนนบน Artificial Analysis Intelligence Index เท่า GPT-6 Astra แต่ยังตาม Claude Opus 5.5 และตอนนี้เปิดให้เฉพาะกลุ่มนักป้องกันไซเบอร์ในโครงการ Fairwind ก่อน

· อ่าน 5 นาที
Claude Opus 5.5 มาแล้ว — ราคาลดเหลือ $4/$20, ค่า cache read ถูกลง 60% และขึ้นอันดับ 1 บน Artificial Analysis ที่ 57.6 แต่มี breaking change 4 ข้อที่ทำให้โค้ดเดิมได้ error 400
โมเดลใหม่

Claude Opus 5.5 มาแล้ว — ราคาลดเหลือ $4/$20, ค่า cache read ถูกลง 60% และขึ้นอันดับ 1 บน Artificial Analysis ที่ 57.6 แต่มี breaking change 4 ข้อที่ทำให้โค้ดเดิมได้ error 400

Anthropic เปิดตัว Claude Opus 5.5 เมื่อ 22 ก.ย. ราคา $4/$20 ต่อล้านโทเคน (ถูกกว่า Opus 5 ราว 20%) ส่วน cache read ถูกลง 60% Artificial Analysis วัดได้ 57.6 นำ Fable 5.1 กับ GPT-6 Astra ราว 4–5 จุด แต่ถ้าจะย้ายจาก Opus 5 ต้องแก้โค้ดก่อน เพราะ Opus 5.5 ปิด thinking ไม่ได้ ไม่รองรับ forced tool use และไม่รับ computer use tool รุ่นเก่า

· อ่าน 6 นาที
OpenAI ปล่อย GPT-6 Sol และ Luna ราคาครึ่งเดียวของรุ่น 5.6 — แต่ Artificial Analysis วัดความฉลาดได้เท่าเดิม Sol ขึ้นแค่ 0.6 จุด ส่วน Luna ไม่ขยับเลย
โมเดลใหม่

OpenAI ปล่อย GPT-6 Sol และ Luna ราคาครึ่งเดียวของรุ่น 5.6 — แต่ Artificial Analysis วัดความฉลาดได้เท่าเดิม Sol ขึ้นแค่ 0.6 จุด ส่วน Luna ไม่ขยับเลย

OpenAI เปิด gpt-6-sol ($2/$10) และ gpt-6-luna ($0.10/$0.50) บน API เมื่อ 22 ก.ย. ราคาต่อโทเคนครึ่งหนึ่งของ GPT-5.6 context 1.05M พร้อมฟีเจอร์เปลี่ยน reasoning effort กลางบทสนทนาโดยไม่ทำให้ cache หลุด แต่ผลวัดอิสระของ Artificial Analysis บอกว่านี่คือโมเดลเดิมในราคาใหม่ ไม่ใช่โมเดลที่เก่งขึ้น

· อ่าน 5 นาที
xAI เปิดตัว Grok 4.7 — base model ใหม่ใหญ่ขึ้น ราคาเท่าเดิม $2/$6 แต่ Terminal-Bench 4.0 ที่วัดอิสระได้ 26% ไม่ใช่ 38% อย่างที่ประกาศ
โมเดลใหม่

xAI เปิดตัว Grok 4.7 — base model ใหม่ใหญ่ขึ้น ราคาเท่าเดิม $2/$6 แต่ Terminal-Bench 4.0 ที่วัดอิสระได้ 26% ไม่ใช่ 38% อย่างที่ประกาศ

xAI (ที่ตอนนี้ใช้ชื่อ SpaceXAI) เปิดตัว Grok 4.7 เมื่อ 21 ก.ย. ใช้ base model ใหม่ที่ใหญ่กว่า 4.6 และ RL ที่ยาวขึ้น ขายราคาเดิม $2/$6 ต่อล้านโทเคน ใช้ได้ทันทีใน Cursor, Grok Build และ API — ตัวเลขของ xAI เองดูดี แต่ Artificial Analysis วัด Terminal-Bench 4.0 ได้ 25.8% ต่ำกว่าที่ xAI ประกาศ 12 จุด และ Intelligence Index 46 เท่ากับ MiMo-V2.6-Pro ที่เป็น open-weight

· อ่าน 5 นาที
Hemmingway-1 โมเดล 27B สัญญา Apache 2.0 อ้างเขียนข้อความ "เหมือนคนเขียน" ชนะ GPT-6 Astra — แต่ 3 ใน 4 เบนช์มาร์กเป็นของทีมตัวเอง และการ์ดโมเดลก็บอกไว้ตรง ๆ
โมเดลใหม่

Hemmingway-1 โมเดล 27B สัญญา Apache 2.0 อ้างเขียนข้อความ "เหมือนคนเขียน" ชนะ GPT-6 Astra — แต่ 3 ใน 4 เบนช์มาร์กเป็นของทีมตัวเอง และการ์ดโมเดลก็บอกไว้ตรง ๆ

20 ก.ย. 2026 ทีมชื่อ Altworld ที่แทบไม่มีใครรู้จักปล่อย Hemmingway-1 โมเดล 27B สัญญา Apache 2.0 ที่ fine-tune จาก Qwen3.8-27B เน้นงานเขียนข้อความในชีวิตประจำวัน อ้างว่าชนะ GPT-6 Astra 50 คะแนนบน CommunicationBench แต่การ์ดโมเดลระบุเองว่า 3 ใน 4 เบนช์มาร์กที่ใช้เป็นของทีมเอง เหลือ EQ-Bench 4 ตัวเดียวที่เป็นของภายนอก ซึ่งได้อันดับ 3

· อ่าน 6 นาที
Trail of Bits ชำแหละเบนช์มาร์ก AI ปะช่องโหว่ของ 1Password — เลข 26% รวมการทดลองที่ 'สั่งให้ปะผิด' 22% และที่ห้ามรันโค้ดอีก 36%
งานวิจัย

Trail of Bits ชำแหละเบนช์มาร์ก AI ปะช่องโหว่ของ 1Password — เลข 26% รวมการทดลองที่ 'สั่งให้ปะผิด' 22% และที่ห้ามรันโค้ดอีก 36%

15 ก.ย. Trail of Bits เผยแพร่การตรวจสอบรายงาน FLAWED ของ 1Password (6 ส.ค.) ที่พาดหัวว่า AI ปะช่องโหว่ได้สะอาดแค่ 26% — พบว่าตัวเลขนั้นรวมพรอมป์ตที่สั่งให้เอเจนต์ปะผิด (22% ของข้อมูล) และโหมดที่ห้ามเอเจนต์คอมไพล์หรือรันโค้ด (36%) เมื่อตัดสองกลุ่มนี้ออก แพตช์ 2,634 จาก 3,067 (86%) บล็อก exploit ได้ พร้อมเปิดตัวเลขฐานของมนุษย์ที่ 12.5% และปล่อย agent skill สองตัว

· อ่าน 8 นาที
Open Code Review ของ Alibaba: เครื่องมือรีวิวโค้ดที่ล็อกขั้นตอนไว้ด้วยโค้ดแล้วให้ agent ทำเฉพาะส่วนที่ต้องคิด อ้างใช้โทเคนราว 1/9 ของ Claude Code แต่จับบั๊กได้น้อยกว่า และตัวเลขมาจาก benchmark ของ Alibaba เอง
เครื่องมือนักพัฒนา

Open Code Review ของ Alibaba: เครื่องมือรีวิวโค้ดที่ล็อกขั้นตอนไว้ด้วยโค้ดแล้วให้ agent ทำเฉพาะส่วนที่ต้องคิด อ้างใช้โทเคนราว 1/9 ของ Claude Code แต่จับบั๊กได้น้อยกว่า และตัวเลขมาจาก benchmark ของ Alibaba เอง

Open Code Review CLI รีวิวโค้ดด้วย AI ที่ Alibaba ใช้ภายในมาสองปี เปิดซอร์สแบบ Apache-2.0 ตั้งแต่ พ.ค. ล่าสุดออก v1.12.1 เมื่อ 14 ก.ย. และมีดาวราว 26k บน benchmark AACR-Bench ของทีม Alibaba เอง ถ้าใช้โมเดลเดียวกัน มันได้ precision และ F1 สูงกว่า Claude Code และใช้โทเคนน้อยกว่าหลายเท่า แต่ recall ต่ำกว่าโดยตั้งใจ และตารางนี้วัดด้วยเวอร์ชันเก่าของทั้งสองฝั่ง

· อ่าน 5 นาที
ผลวัดอิสระของ DeepSeek-V4.1-Flash ออกแล้ว: ขึ้นที่ 1 บน AutomationBench-AA เหนือ GPT-6 Astra — แต่ชนะเพราะละเมิด guardrail น้อยที่สุด ไม่ใช่เพราะทำงานสำเร็จมากที่สุด
โมเดลใหม่

ผลวัดอิสระของ DeepSeek-V4.1-Flash ออกแล้ว: ขึ้นที่ 1 บน AutomationBench-AA เหนือ GPT-6 Astra — แต่ชนะเพราะละเมิด guardrail น้อยที่สุด ไม่ใช่เพราะทำงานสำเร็จมากที่สุด

ตอนเราเขียนถึง DeepSeek-V4.1-Flash เมื่อ 10 ก.ย. หน้า Artificial Analysis ยังไม่มีข้อมูล ตอนนี้มีครบแล้ว: ดัชนีรวม 39.5 เหนือ V4-Pro-0813 (36.3) ต้นทุนต่องาน $0.27 และขึ้นที่ 1 บน AutomationBench-AA ด้วย 68.9% เหนือ Astra (68.5%) — แต่ถ้าดูสัดส่วนงานที่ทำสำเร็จ มันได้แค่ 84.6% ต่ำกว่าตัวท็อปหลายตัว ส่วนดัชนีความรู้ข้อเท็จจริง AA-Omniscience ติดลบ (แก้ไข: DeepSeek ยกเลิกแผนส่ง deepseek-v4-pro ไปหา V4.1-Flash ตั้งแต่ 11 ก.ย. แล้ว V4-Pro ยังให้บริการต่อในราคาเดิม)

· อ่าน 5 นาที
Intern-S2-397B ตัวเต็มเปิดน้ำหนัก Apache-2.0 — config เหมือน Qwen3.5-397B-A17B ทุกค่ายกเว้น vocab น้ำหนักจับคู่ได้ที่ r≈0.998 แต่การ์ดไม่เอ่ยชื่อ Qwen และแถว SWE-Bench-Pro ของคู่แข่งเปลี่ยนไปจากตารางฉบับ Preview
โมเดลใหม่

Intern-S2-397B ตัวเต็มเปิดน้ำหนัก Apache-2.0 — config เหมือน Qwen3.5-397B-A17B ทุกค่ายกเว้น vocab น้ำหนักจับคู่ได้ที่ r≈0.998 แต่การ์ดไม่เอ่ยชื่อ Qwen และแถว SWE-Bench-Pro ของคู่แข่งเปลี่ยนไปจากตารางฉบับ Preview

13 ก.ย. Shanghai AI Lab อัปโหลด Intern-S2-397B โมเดลมัลติโมดัลสายวิทยาศาสตร์ขนาด 403B (BF16 807 GB, FP8 406 GB) ใต้ Apache-2.0 — config ตรงกับ Qwen3.5-397B-A17B ทุกค่ายกเว้น vocab ที่เพิ่ม 3,072 โทเคน และ layernorm ห้าชั้นที่สุ่มตรวจจับคู่กับ Qwen ได้ที่ r 0.997–0.999 แต่การ์ดไม่เอ่ยชื่อฐาน ตารางรายงาน SWE-Bench-Pro 68.54 ขณะที่คะแนนของ Claude Opus 4.8 และ GLM-5.2 ในแถวเดียวกันเปลี่ยนไปจากตารางฉบับ Preview เดือน ก.ค. โดยไม่มีคำอธิบาย

· อ่าน 6 นาที
Real-SWE วัด coding agent บนโค้ดเบสบริษัทจริงที่ไม่เคยหลุดสู่อินเทอร์เน็ต — Fable 5.1 ใน Claude Code นำที่ 38.8% แต่ทั้งตารางมาจากงานแค่ 10 ข้อ
เครื่องมือนักพัฒนา

Real-SWE วัด coding agent บนโค้ดเบสบริษัทจริงที่ไม่เคยหลุดสู่อินเทอร์เน็ต — Fable 5.1 ใน Claude Code นำที่ 38.8% แต่ทั้งตารางมาจากงานแค่ 10 ข้อ

Specific Labs เปิดตัว Real-SWE เบนช์มาร์กที่ใช้งานจริงจากโค้ดเบสส่วนตัวซึ่งซื้อสิทธิ์มาจากบริษัท — ภาษี บิลลิ่ง ย้ายข้อมูลลูกค้า — โมเดล 8 ตัวบนฮาร์เนสของตัวเองแก้ได้แค่ 16.2–38.8% โดย Fable 5.1 นำ ตามด้วย GPT-6 Astra และ Gemini 3.8 Flash ที่ถูกกว่าเกือบสามเท่าต่อรอบ แต่ตัวเลขทั้งหมดมาจาก 10 งาน × 8 รอบ ส่วนต่างระหว่างอันดับบนจึงเล็กกว่าที่ตารางทำให้ดู

· อ่าน 6 นาที
ผู้ได้เหรียญ Fields 25 คนลงนามแถลงการณ์ "A Severe Misalignment of AI in Mathematics" — เป้าหมายของบริษัท AI กับวงการคณิตศาสตร์ "ไม่ตรงกันอย่างรุนแรง" แต่ไม่มีข้อเรียกร้องที่จับต้องได้สักข้อ
งานวิจัย

ผู้ได้เหรียญ Fields 25 คนลงนามแถลงการณ์ "A Severe Misalignment of AI in Mathematics" — เป้าหมายของบริษัท AI กับวงการคณิตศาสตร์ "ไม่ตรงกันอย่างรุนแรง" แต่ไม่มีข้อเรียกร้องที่จับต้องได้สักข้อ

11 ก.ย. ผู้ได้เหรียญ Fields 25 คน ตั้งแต่ Pierre Deligne (1978) ถึง Yu Deng (2026) รวมถึง Terence Tao, Peter Scholze และ Maryna Viazovska เผยแพร่แถลงการณ์ที่ mathandai.org ว่าการที่บริษัท AI ใช้การแก้โจทย์คณิตศาสตร์เป็นเบนช์มาร์กกำลังทำร้ายวิชาและชุมชน — ประกาศผลแบบเร่งรีบ ไม่อ้างอิงงานก่อนหน้า และตัดสายการถ่ายทอดความเข้าใจระหว่างมนุษย์ แถลงการณ์ไม่เอ่ยชื่อบริษัทใด และต่างจาก Leiden Declaration ตรงที่ไม่มีข้อเสนอเชิงปฏิบัติ

· อ่าน 6 นาที
RTK ติดดาว 80,000 ดวงเพราะอ้างว่าลดโทเคนได้ 60–90% — Quesma รัน Terminal-Bench 1,740 ครั้งแล้วพบว่า rtk gain รายงานว่าประหยัด 349 ล้านโทเคน แต่บิล DeepSeek กลับแพงขึ้น 5%
เครื่องมือนักพัฒนา

RTK ติดดาว 80,000 ดวงเพราะอ้างว่าลดโทเคนได้ 60–90% — Quesma รัน Terminal-Bench 1,740 ครั้งแล้วพบว่า rtk gain รายงานว่าประหยัด 349 ล้านโทเคน แต่บิล DeepSeek กลับแพงขึ้น 5%

Quesma ทดสอบ RTK (Rust Token Killer) พร็อกซีบีบเอาต์พุตเทอร์มินัลที่ติดดาวบน GitHub ราว 80,000 ดวง บน Terminal-Bench 2.1 รวม 1,740 ครั้ง: Claude Code + Fable 5.0 ถูกลง 5% แต่เกือบทั้งหมดมาจากงานเดียว ส่วน OpenCode + DeepSeek V4 Pro แพงขึ้น 5% เพราะจำนวนเทิร์นเพิ่ม 18% ทั้งที่ rtk gain รายงานว่าประหยัดไป 89% — ตัวเลขที่เครื่องมือโชว์กับเงินที่จ่ายจริงเป็นคนละเรื่อง

· อ่าน 6 นาที