แท็ก

#Evaluation

5 บทความ

Aleph Alpha ทดสอบโมเดลเปิดจีน 6 ตัวด้วย 967 คำถามการเมือง: ตอบแบบสมดุลแค่ 17–41% — และพบว่า Nemotron ของ NVIDIA ติดแนวคิดพรรคมาจากข้อมูล SFT ที่ Qwen/DeepSeek สร้าง
งานวิจัย

Aleph Alpha ทดสอบโมเดลเปิดจีน 6 ตัวด้วย 967 คำถามการเมือง: ตอบแบบสมดุลแค่ 17–41% — และพบว่า Nemotron ของ NVIDIA ติดแนวคิดพรรคมาจากข้อมูล SFT ที่ Qwen/DeepSeek สร้าง

Aleph Alpha เผยแพร่ผลทดสอบเมื่อ 28 ก.ย. 2026 (The Decoder หยิบมารายงานเมื่อ 4 ต.ค.) โมเดลเปิดจีน 6 ตัว ได้แก่ Qwen, DeepSeek และ Kimi ตอบคำถามที่เกี่ยวกับจีนแบบสมดุลเพียง 17–41% แต่ถ้าคำถามไม่ได้พูดถึงจีน ตัวเลขขึ้นไปเป็น 58–93% ที่น่าสนใจกว่าคือ NVIDIA Nemotron Cascade 2 ซึ่งไม่ได้เทรนในจีน ก็ติดแนวคิดพรรคมาด้วย เพราะข้อมูล SFT ประมาณ 3,500 จาก 9.3 ล้านแถวที่สร้างด้วย DeepSeek/Qwen มีเนื้อหาแบบนั้นปนอยู่

· อ่าน 6 นาที
Microsoft เปิด ThinkingBox บน Hugging Face: วัดเอเจนต์จาก "ข้อมูลในฐานข้อมูล" ไม่ใช่คำตอบ แล้วรันซ้ำ 20 รอบ — Opus 5.5 นำ pass@1 แต่ผ่านครบ 20/20 ได้เท่า Opus 5 คือ 241 งาน
เครื่องมือนักพัฒนา

Microsoft เปิด ThinkingBox บน Hugging Face: วัดเอเจนต์จาก "ข้อมูลในฐานข้อมูล" ไม่ใช่คำตอบ แล้วรันซ้ำ 20 รอบ — Opus 5.5 นำ pass@1 แต่ผ่านครบ 20/20 ได้เท่า Opus 5 คือ 241 งาน

3 ต.ค. 2026 Microsoft กับ Hugging Face ปล่อย ThinkingBox-Bench ผ่าน OpenEnv ประกอบด้วยงานธุรกิจ 507 งานใน 5 โดเมน ตรวจผลจากสถานะฐานข้อมูลหลังเอเจนต์ทำงานเสร็จ และรันแต่ละงาน 20 รอบ จากการทดสอบ 18 โมเดล Claude Opus 5.5 นำที่ pass@1 67.16% Kimi-K3 แก้ได้กว้างที่สุดที่ 476 งาน แต่ผ่านครบ 20/20 ได้แค่ 68 งาน และราว 80% ของความล้มเหลวมาจากการใช้ tool

· อ่าน 6 นาที
Hugging Face เปิด Open TTS Leaderboard — วัดโมเดลสร้างเสียงพูดด้วยตัวชี้วัดอัตโนมัติแทนการโหวต ใช้เวลาไม่กี่ชั่วโมงแทนหลายสัปดาห์ มีความเร็ว time-to-first-audio และ voice cloning แต่ 9 ภาษาแรกยังไม่มีภาษาไทย
เครื่องมือนักพัฒนา

Hugging Face เปิด Open TTS Leaderboard — วัดโมเดลสร้างเสียงพูดด้วยตัวชี้วัดอัตโนมัติแทนการโหวต ใช้เวลาไม่กี่ชั่วโมงแทนหลายสัปดาห์ มีความเร็ว time-to-first-audio และ voice cloning แต่ 9 ภาษาแรกยังไม่มีภาษาไทย

30 ก.ย. 2026 ทีม audio ของ Hugging Face เปิด Open TTS Leaderboard ที่จัดอันดับโมเดล text-to-speech แบบเปิดด้วย WER จากการถอดเสียงกลับด้วย Qwen3 ASR, ความคล้ายเสียงผู้พูดด้วย WavLM และความเร็ว RTFx/TTFA บน H200 และ CPU เพราะ leaderboard แบบโหวตตามรุ่นใหม่ไม่ทัน (บน Artificial Analysis มีโมเดลเปิดแค่ 16 จาก 92) แต่ตัวชี้วัดเหล่านี้ไม่ได้วัดความเป็นธรรมชาติ และยังไม่มีภาษาไทย

· อ่าน 4 นาที
Microsoft วัดเอง: GPT-6 Astra แพงกว่า Claude Sonnet 4.6 ถึง 5.3 เท่าแล้วได้คะแนนต่ำกว่า — และ "สกิล" ที่ใส่เข้าไปคือสิ่งที่พลิกผลว่าโมเดลไหนชนะ
เครื่องมือนักพัฒนา

Microsoft วัดเอง: GPT-6 Astra แพงกว่า Claude Sonnet 4.6 ถึง 5.3 เท่าแล้วได้คะแนนต่ำกว่า — และ "สกิล" ที่ใส่เข้าไปคือสิ่งที่พลิกผลว่าโมเดลไหนชนะ

9 ก.ย. Waldek Mastykarz เผยผลเทียบ GPT-6 Astra กับ Claude Sonnet 4.6 บน GitHub Copilot สามงานอัปเกรดโค้ด งานละห้ารัน พร้อมต้นทุนต่อรันจริง — เคส JDK 8 ไป 25 ได้ 93% ที่ 67.33 ดอลลาร์ต่อรัน เทียบ Sonnet ที่ 97% ที่ 12.71 ดอลลาร์ แต่ประเด็นที่สำคัญกว่าคือถ้าถอดสกิล migration ออก ลำดับกลับหัวทันที

· อ่าน 6 นาที
ARC Prize เปิดตารางเต็มของ GPT-6 Astra — โมเดลเดียวกัน เบนช์มาร์กเดียวกัน ได้ 62.7% กับ 99.9% ต่างกันแค่ที่ harness และตัวเลขที่ทุกคนพาดหัวคือตัวหลัง
งานวิจัย

ARC Prize เปิดตารางเต็มของ GPT-6 Astra — โมเดลเดียวกัน เบนช์มาร์กเดียวกัน ได้ 62.7% กับ 99.9% ต่างกันแค่ที่ harness และตัวเลขที่ทุกคนพาดหัวคือตัวหลัง

ARC Prize เผยแพร่ผลทดสอบ GPT-6 Astra บน ARC-AGI-3 เมื่อ 3 ก.ย. เป็นตาราง 12 ช่อง (6 ระดับ reasoning x 2 harness) แล้วเห็นชัดว่าคะแนนขึ้นกับ harness มากกว่าขึ้นกับปริมาณการคิด — Standard harness ที่เป็นกลางให้ 62.7% ขณะที่ Provider Adapter ให้ 96.7-99.9% ในทุกระดับ แม้แต่ระดับที่ปิดการคิดทั้งหมด

· อ่าน 7 นาที