แท็ก

#scientific computing

2 บทความ

SWE-bench Science: เอเจนต์เขียนโค้ดผ่านเทสต์สาธารณะ 96-100% แต่แก้บั๊กในซอฟต์แวร์วิทยาศาสตร์สำเร็จจริงไม่ถึงครึ่ง
งานวิจัย

SWE-bench Science: เอเจนต์เขียนโค้ดผ่านเทสต์สาธารณะ 96-100% แต่แก้บั๊กในซอฟต์แวร์วิทยาศาสตร์สำเร็จจริงไม่ถึงครึ่ง

20 ส.ค. 2026 ทีมจาก Shanghai Innovation Institute และมหาวิทยาลัยฟู่ตั้นปล่อย SWE-bench Science — 119 งานจาก 98 รีโปจริง ครอบคลุม 20 สาขาวิทยาศาสตร์ ผลคือเอเจนต์ที่เก่งที่สุด (Claude Code + Opus 5 โหมด max) ได้ Pass@1 แค่ 47.90% ทั้งที่ผ่านเทสต์สาธารณะ 96.64% และการป้อนความรู้วิทยาศาสตร์เพิ่มกลับทำให้ GPT-5.6-sol แย่ลง

· อ่าน 6 นาที
รายงานภาคสนาม 8 เคสจริง: coding agent เร่งซอฟต์แวร์วิทยาศาสตร์ได้ 60 เท่า แต่ตัดสินไม่ได้ว่าวิทยาศาสตร์ถูกหรือผิด
เครื่องมือนักพัฒนา

รายงานภาคสนาม 8 เคสจริง: coding agent เร่งซอฟต์แวร์วิทยาศาสตร์ได้ 60 เท่า แต่ตัดสินไม่ได้ว่าวิทยาศาสตร์ถูกหรือผิด

รายงานภาคสนามจาก OpenAI ร่วมกับนักวิจัย 20 คนจาก UNC, AI2, Harvard, NVIDIA, Seqera และอื่น ๆ เล่า 8 เคสจริงที่ใช้ Codex และ Claude Code ปรับปรุงซอฟต์แวร์ชีวสารสนเทศ — เร็วขึ้น 60 เท่า เขียน STAR ใหม่ทั้งตัวเป็น Rust ที่ความตรง 99.8% แต่ข้อสรุปหลักคือคอขวดย้ายจากการเขียนโค้ดไปอยู่ที่การตรวจสอบ

· อ่าน 8 นาที