แท็ก

#evals

4 บทความ

OpenAI ยอมรับ GPT-6 Sol/Luna มีบั๊ก image encoding ช่วงสามวันแรก ทำให้เข้าใจภาพแย่ลงทั้งบน API และ Codex (รวม computer use) — แนะนำให้รัน eval ใหม่ ส่วน Codex 0.157 อุดช่องให้ network policy มีผลตลอดคำขอ

changelog ของ OpenAI API วันที่ 25 ก.ย. ระบุว่าแก้บั๊ก image encoding ที่ทำให้ GPT-6 Sol และ Luna เข้าใจภาพแย่ลงทั้งบน API และ Codex รวมถึง computer use และแนะนำให้รัน eval ที่มีภาพใหม่ ใครทดสอบ GPT-6 กับงานภาพระหว่าง 22–25 ก.ย. ผลนั้นใช้ไม่ได้ ส่วน Codex CLI 0.157.0 เพิ่ม GPT-6 และทำให้ network policy มีผลกับ redirect และการเชื่อมต่อที่ยังค้างอยู่ด้วย

28 ก.ย. 2569 · อ่าน 4 นาที

เครื่องมือนักพัฒนา

Optima จาก Artificial Analysis — สร้าง benchmark จากข้อมูลของคุณเอง แล้ววัดทุกโมเดลในคลิกเดียว

Artificial Analysis เปิดตัว Optima (13 ส.ค. 2026) แพลตฟอร์มสร้าง benchmark ส่วนตัวจากชุดข้อมูลหรือ agent trace ของคุณเอง แล้วรันเทียบโมเดลชั้นนำพร้อมกัน — วัดทั้งคุณภาพ ต้นทุนต่องาน และเวลาต่องาน คิดเงินตามโทเค็นจริงไม่บวกเพิ่ม

16 ส.ค. 2569 · อ่าน 4 นาที

ความเห็น

คุยกับ AI แล้วรู้สึกว่า 'ง่ายนี่หว่า'? — แผนที่ภูเขาน้ำแข็งของสิ่งที่ต้องรู้จริง ก่อนเอา AI เข้า production

ตอนนี้แทบทุกองค์กรกำลัง 'เพ้อ' กับการเอา AI มาใช้ในงานจริง — เพราะการคุยกับแชตบอตสิบนาทีสร้างความมั่นใจผิด ๆ ว่ามันง่าย บทความนี้กางแผนที่สิ่งที่อยู่ใต้ผิวน้ำ: model type, RAG, agent loop, harness, server-driven UI, evals, security แล้วชวนถามตัวเองว่าเราเข้าใจจริง หรือแค่มโนไปเอง

12 ส.ค. 2569 · อ่าน 10 นาที

เครื่องมือนักพัฒนา

Supabase เปิด Evals — เบนช์มาร์ก Apache-2.0 ที่ให้ Claude Code, Codex และ OpenCode ลงมือทำงานจริงบนโปรเจกต์ Supabase

Supabase ปล่อย Evals เบนช์มาร์กโอเพนซอร์สที่รัน coding agent จริงกับงาน 38 สถานการณ์ — สร้างสคีมา ดีบัก Edge Function ที่พัง แก้ RLS ที่รั่ว — แล้วให้คะแนนด้วย deterministic check ผสม LLM-as-a-judge ผลที่น่าสนใจไม่ใช่ใครชนะ แต่คือ Agent Skills ดัน Sonnet 5 จาก 78% เป็น 100% ในขั้น build

3 ส.ค. 2569 · อ่าน 6 นาที