ข้ามไปยังเนื้อหา

แท็ก

#Benchmark

12 บทความ

Google เปิดตัว Gemini 4 Carbon ขึ้นอันดับ 1 Artificial Analysis v5 ด้วยคะแนน 59 แต่ยังให้ใช้แค่นักป้องกันไซเบอร์กลุ่มเล็ก
โมเดลใหม่

Google เปิดตัว Gemini 4 Carbon ขึ้นอันดับ 1 Artificial Analysis v5 ด้วยคะแนน 59 แต่ยังให้ใช้แค่นักป้องกันไซเบอร์กลุ่มเล็ก

Gemini 4 Carbon เปิดตัว 28 ต.ค. แซง Claude Opus 5.5 บน Intelligence Index v5 แค่ 1 คะแนน และตามหลังเพียง 3 คะแนนในดัชนี coding agent ราคาเปิดตัว $2/$10 แต่นักพัฒนาทั่วไปยังเรียกใช้ไม่ได้ ระหว่างที่ Google ค่อย ๆ เปิดผ่านโปรแกรม Fairwind

· อ่าน 5 นาที
Mistral ปล่อยน้ำหนัก Large 4 จริงแล้ว — 1T ราคาลดเกือบครึ่ง แต่บน AA ได้ 26 และสัญญาอนุญาตห้ามขายเป็น API ถ้าไม่มีใบอนุญาตแยก
โมเดลใหม่

Mistral ปล่อยน้ำหนัก Large 4 จริงแล้ว — 1T ราคาลดเกือบครึ่ง แต่บน AA ได้ 26 และสัญญาอนุญาตห้ามขายเป็น API ถ้าไม่มีใบอนุญาตแยก

Mistral ปล่อยน้ำหนัก Large 4 (Le Chonk) เมื่อ 29 ต.ค. เป็นรุ่นที่ฝึก RL ต่ออีกสามสัปดาห์หลัง preview ขนาด 1T ใช้พื้นที่ราว 1.06TB ราคา API ลดเหลือ $0.70/$2.10 Mistral นำ open-weight ด้าน coding แต่คะแนนรวม AA 26 ตามหลังโมเดลจีน และสัญญาอนุญาตกันธุรกิจ Model-as-a-Service

· อ่าน 5 นาที
แพทย์ผิวหนังทดสอบ: CNN รุ่นปี 2015 ที่ fine-tune 20 นาที วินิจฉัยรอยโรคผิวหนังถูก 62% ส่วน GPT-6 Astra กับ Claude Fable 5.1 ได้ 42% แต่ถ้าใช้ threshold ที่ตั้งมา CNN ปล่อยเมลาโนมาไป 18 จาก 30 ราย
งานวิจัย

แพทย์ผิวหนังทดสอบ: CNN รุ่นปี 2015 ที่ fine-tune 20 นาที วินิจฉัยรอยโรคผิวหนังถูก 62% ส่วน GPT-6 Astra กับ Claude Fable 5.1 ได้ 42% แต่ถ้าใช้ threshold ที่ตั้งมา CNN ปล่อยเมลาโนมาไป 18 จาก 30 ราย

Dr Magnus Lynch แพทย์ผิวหนังจาก Guy's Hospital และ King's College London ทดสอบรอยโรคที่ยืนยันผลชิ้นเนื้อแล้ว 200 ราย จากชุดข้อมูล MILK10k (เผยแพร่ 25 ต.ค. 2026) Inception v3 ที่ fine-tune บนภาพ ISIC 68,011 ภาพวินิจฉัยถูก 125/200 ส่วน GPT-6 Astra ถูก 84 และ Claude Fable 5.1 ถูก 85 แต่ที่ threshold ที่ตั้งมา CNN ปล่อยเมลาโนมากลับบ้าน 18 จาก 30 ราย เทียบกับ 3 และ 4 รายของ LLM

· อ่าน 4 นาที
OpenAI เปิด MultiLangBench วัดการเขียน SQLite ใหม่ทั้งตัวใน 20 ภาษา — GPT-6 Astra ได้ 87.4% (COBOL 72.1%) และ GPT-6.1 Sol ย้ายโค้ด COBOL ได้ 86.6% แต่ทุกตัวเลขเทียบกับ GPT-5.6 Sol และรีโปที่ปล่อยยังไม่มีผลรายภาษากับ harness
เครื่องมือนักพัฒนา

OpenAI เปิด MultiLangBench วัดการเขียน SQLite ใหม่ทั้งตัวใน 20 ภาษา — GPT-6 Astra ได้ 87.4% (COBOL 72.1%) และ GPT-6.1 Sol ย้ายโค้ด COBOL ได้ 86.6% แต่ทุกตัวเลขเทียบกับ GPT-5.6 Sol และรีโปที่ปล่อยยังไม่มีผลรายภาษากับ harness

19 ต.ค. 2026 OpenAI เผยแพร่งานวิจัยเรื่องการเขียนโค้ดในภาษาที่มีข้อมูลน้อยอย่าง COBOL, Fortran และ Visual Basic พร้อม eval สองชุด ใน MultiLangBench ที่ให้โมเดลเขียน SQLite ใหม่ทั้งตัว GPT-6 Astra ได้เฉลี่ย 87.4% ใน 20 ภาษา และในชุดย้ายโค้ด COBOL GPT-6.1 Sol ได้ 86.6% ที่ low effort แต่ทั้งสองชุดเทียบกับ GPT-5.6 Sol ใช้โมเดลคนละตัว และรีโป Apache-2.0 ที่ปล่อยมีแค่ชุดทดสอบ ยังไม่มีผลรายภาษาหรือ harness ตามที่โพสต์บอก

· อ่าน 5 นาที
Microsoft เปิด ThinkingBox บน Hugging Face: วัดเอเจนต์จาก "ข้อมูลในฐานข้อมูล" ไม่ใช่คำตอบ แล้วรันซ้ำ 20 รอบ — Opus 5.5 นำ pass@1 แต่ผ่านครบ 20/20 ได้เท่า Opus 5 คือ 241 งาน
เครื่องมือนักพัฒนา

Microsoft เปิด ThinkingBox บน Hugging Face: วัดเอเจนต์จาก "ข้อมูลในฐานข้อมูล" ไม่ใช่คำตอบ แล้วรันซ้ำ 20 รอบ — Opus 5.5 นำ pass@1 แต่ผ่านครบ 20/20 ได้เท่า Opus 5 คือ 241 งาน

3 ต.ค. 2026 Microsoft กับ Hugging Face ปล่อย ThinkingBox-Bench ผ่าน OpenEnv ประกอบด้วยงานธุรกิจ 507 งานใน 5 โดเมน ตรวจผลจากสถานะฐานข้อมูลหลังเอเจนต์ทำงานเสร็จ และรันแต่ละงาน 20 รอบ จากการทดสอบ 18 โมเดล Claude Opus 5.5 นำที่ pass@1 67.16% Kimi-K3 แก้ได้กว้างที่สุดที่ 476 งาน แต่ผ่านครบ 20/20 ได้แค่ 68 งาน และราว 80% ของความล้มเหลวมาจากการใช้ tool

· อ่าน 6 นาที
DrivingBench: ให้โมเดลแนวหน้าขับ Toyota Corolla คันจริงผ่าน MCP สามเครื่องมือ — GPT-6 Astra เข้าเส้นชัยคันเดียว, Fable 5.1 ไปได้ 45%
งานวิจัย

DrivingBench: ให้โมเดลแนวหน้าขับ Toyota Corolla คันจริงผ่าน MCP สามเครื่องมือ — GPT-6 Astra เข้าเส้นชัยคันเดียว, Fable 5.1 ไปได้ 45%

ทีมอิสระสามคนต่อ LLM เข้ากับพวงมาลัย คันเร่ง และเบรกของ Corolla ปี 2022 ผ่าน comma four, openpilot และ MCP สามเครื่องมือ แล้วให้ขับในสนามกรวยยาวราว 130 เมตร GPT-6 Astra (ผ่าน Codex) เป็นโมเดลเดียวที่เข้าเส้นชัย ในความพยายามครั้งที่สอง ใช้เวลา 5:22 นาที ส่วนโมเดลอื่นส่วนใหญ่ติดตั้งแต่โค้งแรก ทีมเปิดซอร์ส harness เป็น MIT และเผยแพร่ trace ครบทั้ง 11 รอบ

· อ่าน 6 นาที
RoboHarm: เอาโมเดลแนวหน้ามาคุมแขนกลจริงแล้วสั่งงานอันตราย 300 ครั้ง — Claude Fable ปฏิเสธ 20 ครั้ง และทั้ง 20 ครั้งคือคำสั่งเดียวกัน ส่วนอีกสี่ฉากที่อันตรายกว่า ไม่มีใครปฏิเสธเลย
งานวิจัย

RoboHarm: เอาโมเดลแนวหน้ามาคุมแขนกลจริงแล้วสั่งงานอันตราย 300 ครั้ง — Claude Fable ปฏิเสธ 20 ครั้ง และทั้ง 20 ครั้งคือคำสั่งเดียวกัน ส่วนอีกสี่ฉากที่อันตรายกว่า ไม่มีใครปฏิเสธเลย

18 ก.ย. 2026 RoboCurve เผยแพร่ RoboHarm — ฉากทดลองจริง 5 ฉากบนแขนกล I2RT YAM รันโมเดลละ 100 ครั้ง ผลคือ GPT-6 Astra ทำสำเร็จ 60 จาก 100 ปฏิเสธด้วยเหตุผลความปลอดภัยแค่ 2 ครั้ง ส่วน Claude Fable 5.1 ปฏิเสธ 20 ครั้งซึ่งกระจุกอยู่ที่คำสั่งแทงตุ๊กตาเด็กทั้งหมด และไม่ปฏิเสธเลยในอีกสี่ฉาก

· อ่าน 7 นาที
เมื่อ eval ของ coding agent ผ่านเพราะ sandbox รั่ว — Microsoft เล่าเคสที่ agent ถูกตัดเน็ตแล้วไปเจอซอร์สโค้ดคำตอบอยู่บนเครื่องตัวเอง
เครื่องมือนักพัฒนา

เมื่อ eval ของ coding agent ผ่านเพราะ sandbox รั่ว — Microsoft เล่าเคสที่ agent ถูกตัดเน็ตแล้วไปเจอซอร์สโค้ดคำตอบอยู่บนเครื่องตัวเอง

16 ก.ย. Waldek Mastykarz จาก Microsoft เผยแพร่เคสจริงของ eval ที่ให้ผลผ่านแต่วัดผิดสิ่ง เขาปิดเว็บและบล็อก curl เพื่อวัดความรู้ภายในของ GPT-5.6 Luna เรื่อง Dev Proxy แต่ agent ไปเจอ Dev Proxy ที่ติดตั้งอยู่บนเครื่องพร้อม git history แล้วอ่านซอร์สที่ tag v0.29.2 ตอบถูกหมด บทความเสนอให้นิยาม sandbox รอบ 'ข้อมูล' แทนที่จะไล่บล็อกทีละเครื่องมือ พร้อมเช็คลิสต์ 8 ข้อ

· อ่าน 5 นาที
Entelligence ให้ GPT-5.6 Luna กับ GPT-6 Astra รีวิว PR ชุดเดียวกัน 50 ตัว — Luna เจอบั๊กจริง 75% ของ Astra ด้วยเงินแค่ 3.6% แต่เจอบั๊กความปลอดภัยแค่ 9 จาก 24 และคอมเมนต์ผิดราวหนึ่งในสี่
เครื่องมือนักพัฒนา

Entelligence ให้ GPT-5.6 Luna กับ GPT-6 Astra รีวิว PR ชุดเดียวกัน 50 ตัว — Luna เจอบั๊กจริง 75% ของ Astra ด้วยเงินแค่ 3.6% แต่เจอบั๊กความปลอดภัยแค่ 9 จาก 24 และคอมเมนต์ผิดราวหนึ่งในสี่

Entelligence (บริษัทที่ขาย model router) ให้ GPT-5.6 Luna และ GPT-6 Astra รีวิว pull request สาธารณะ 50 ตัวด้วยพรอมต์เดียวกัน Luna เจอบั๊กที่ผ่านการยืนยัน 69 ตัว เทียบกับ 92 ตัวของ Astra โดยใช้เงิน $0.20 ต่อ $5.66 แต่ความแม่นยำ 74% ต่อ 96% และบนโค้ด auth ของ Keycloak เจอแค่ 6 ต่อ 14 — Astra เป็นทั้งผู้เข้าแข่งและกรรมการ และ PR ทุกตัวเก่ากว่า training cutoff ของทั้งสองโมเดล

· อ่าน 5 นาที
ทดลองเสียบความคิดของโมเดลหนึ่งเข้าไปในอีกโมเดล: Qwen3.8 ขยับเข้าหา GPT-5.5 Pro 18 จุด ขณะที่ตอนใช้ Opus เป็นครูแทบไม่ขยับ
งานวิจัย

ทดลองเสียบความคิดของโมเดลหนึ่งเข้าไปในอีกโมเดล: Qwen3.8 ขยับเข้าหา GPT-5.5 Pro 18 จุด ขณะที่ตอนใช้ Opus เป็นครูแทบไม่ขยับ

9-10 ก.ย. นักพัฒนาปล่อยผลทดลอง reasoning prefill รอบสองที่เปลี่ยนครูจาก Opus 4.8 เป็น GPT-5.5 Pro แล้วพบว่า Qwen3.8 A95B ขยับเข้าหาคำตอบของครู 18.18 จุด เทียบกับ 1.87 จุดตอนใช้ Opus — ตัวเลขน่าสนใจ แต่วิธีวัดคือ n-gram overlap 100 โทเคนแรกบนโจทย์ 45 ข้อ ซึ่งบอกอะไรได้และบอกอะไรไม่ได้ ต้องแยกให้ออก

· อ่าน 7 นาที
ARC Prize เปิดตารางเต็มของ GPT-6 Astra — โมเดลเดียวกัน เบนช์มาร์กเดียวกัน ได้ 62.7% กับ 99.9% ต่างกันแค่ที่ harness และตัวเลขที่ทุกคนพาดหัวคือตัวหลัง
งานวิจัย

ARC Prize เปิดตารางเต็มของ GPT-6 Astra — โมเดลเดียวกัน เบนช์มาร์กเดียวกัน ได้ 62.7% กับ 99.9% ต่างกันแค่ที่ harness และตัวเลขที่ทุกคนพาดหัวคือตัวหลัง

ARC Prize เผยแพร่ผลทดสอบ GPT-6 Astra บน ARC-AGI-3 เมื่อ 3 ก.ย. เป็นตาราง 12 ช่อง (6 ระดับ reasoning x 2 harness) แล้วเห็นชัดว่าคะแนนขึ้นกับ harness มากกว่าขึ้นกับปริมาณการคิด — Standard harness ที่เป็นกลางให้ 62.7% ขณะที่ Provider Adapter ให้ 96.7-99.9% ในทุกระดับ แม้แต่ระดับที่ปิดการคิดทั้งหมด

· อ่าน 7 นาที
Ollama ระดมทุน 88 ล้านดอลลาร์ ประกาศ "all aboard open models" — เดิมพันทั้งบริษัทกับโมเดลเปิด
ธุรกิจและการลงทุน

Ollama ระดมทุน 88 ล้านดอลลาร์ ประกาศ "all aboard open models" — เดิมพันทั้งบริษัทกับโมเดลเปิด

Ollama ตัวรันโมเดลบนเครื่อง (local runner) ยอดนิยมประกาศเมื่อ 9 ก.ค. 2026 ว่าระดมทุนได้ 88 ล้านดอลลาร์จาก Benchmark, Theory Ventures, 8VC, Y Combinator และเหล่า angel — พร้อมประกาศทิศทาง "all aboard open models" ตอนนี้มีนักพัฒนาใช้งาน 8.9 ล้านคน และองค์กร 85% ของ Fortune 500

· อ่าน 5 นาที