แท็ก

#reinforcement-learning

12 บทความ

TTPO: เทรนโมเดลต่อด้วยข้อสอบที่ไม่มีเฉลย — ให้มันโหวตกันเองแล้วเรียนจากเสียงข้างมาก ดัน Qwen3-1.7B จาก 38.0 เป็น 45.2 บนโจทย์ระดับ AIME
งานวิจัย

TTPO: เทรนโมเดลต่อด้วยข้อสอบที่ไม่มีเฉลย — ให้มันโหวตกันเองแล้วเรียนจากเสียงข้างมาก ดัน Qwen3-1.7B จาก 38.0 เป็น 45.2 บนโจทย์ระดับ AIME

ทีม ZJU-REAL จากมหาวิทยาลัยเจ้อเจียงปล่อยเปเปอร์ TTPO เมื่อ 27 ส.ค. — วิธี post-training ที่ไม่ต้องใช้เฉลย โดยใช้ majority-vote เป็น pseudo-label แล้วจับคู่กับ objective แบบไม่สมมาตร (กลั่นความรู้จากคำตอบที่ตรงกัน ลงโทษด้วย RL เฉพาะคำตอบที่แย้ง) ผลคือเทียบเท่าการเทรนแบบมีเฉลยบนห้าเบนช์มาร์กระดับแข่งขัน และดัน Qwen3-1.7B จาก 38.0 เป็น 45.2 ด้วยโจทย์ทดสอบที่ไม่มีป้ายกำกับ โค้ดเปิดบน GitHub

· อ่าน 6 นาที
Harvey Tenet: บริษัทกฎหมาย AI เอา Kimi K3 มาเทรนต่อเอง แทนที่จะเช่าโมเดลแนวหน้า — 150 ใบ B300 นาน 2 เดือน แลกกับงานยาวที่ทำจบเพิ่มเกือบเท่าตัว
โมเดลใหม่

Harvey Tenet: บริษัทกฎหมาย AI เอา Kimi K3 มาเทรนต่อเอง แทนที่จะเช่าโมเดลแนวหน้า — 150 ใบ B300 นาน 2 เดือน แลกกับงานยาวที่ทำจบเพิ่มเกือบเท่าตัว

Harvey ประกาศเมื่อ 20 ส.ค. 2026 ว่าได้ post-train โมเดลของตัวเองชื่อ Tenet บนฐาน Kimi K3 ร่วมกับ Fireworks — ทำงานกฎหมายยาวจบได้เกือบสองเท่าของ K3 ตัวเปล่า ขึ้นอันดับ 1 บน LAB: Contracts และเปิดสูตรครบตั้งแต่ GSPO + LoRA rank-64 ไปจนถึงจำนวน GPU ที่ใช้

· อ่าน 8 นาที
Ornith-1.5: โมเดลโค้ดดิ้งโอเพนเวต MIT ที่ "คิดโจทย์ฝึกให้ตัวเอง" — เรือธง 397B ตีเสมอ Claude Opus 4.8 ส่วนรุ่น 35B ใช้พารามิเตอร์แค่ 3B ต่อโทเคน
โมเดลใหม่

Ornith-1.5: โมเดลโค้ดดิ้งโอเพนเวต MIT ที่ "คิดโจทย์ฝึกให้ตัวเอง" — เรือธง 397B ตีเสมอ Claude Opus 4.8 ส่วนรุ่น 35B ใช้พารามิเตอร์แค่ 3B ต่อโทเคน

ทีม Ornith (DeepReinforce) ปล่อย Ornith-1.5 บน Hugging Face เมื่อ 18 ส.ค. 2026 — ลิขสิทธิ์ MIT ครบสามขนาด 9B / 35B-A3B / 397B พร้อม GGUF, FP8, NVFP4, MLX ในวันเดียว จุดต่างจากรุ่น 1.0 คือลูป self-improvement ขยายจาก "ออกแบบ scaffold เอง" เป็น "คิดโจทย์ฝึกของตัวเองด้วย" เรือธง 397B ทำ Terminal-Bench 2.1 ได้ 86.1 เทียบเท่า Claude Opus 4.8 (85.0)

· อ่าน 7 นาที
OpenAI เปิดตัวเลขจริงของการ "เหยียบเบรก" — หยุด RL สองสัปดาห์, แช่ frontier run ที่ใหญ่ที่สุดไว้ยังไม่ปลด และจ่ายค่า monitoring เพิ่ม 20% ของ compute
ธุรกิจและกฎหมาย

OpenAI เปิดตัวเลขจริงของการ "เหยียบเบรก" — หยุด RL สองสัปดาห์, แช่ frontier run ที่ใหญ่ที่สุดไว้ยังไม่ปลด และจ่ายค่า monitoring เพิ่ม 20% ของ compute

18 ส.ค. 2026 OpenAI เผยแพร่บันทึกว่าได้หยุดการเทรน RL ของโมเดลรุ่นล่าสุดไปสองสัปดาห์ และ "frontier RL run ที่ใหญ่ที่สุดที่วางแผนไว้" ยังถูกแช่ไว้จนถึงตอนนี้ พร้อมเปิดตัวเลขที่แทบไม่มีแล็บไหนเคยเปิด — ระบบเฝ้าระวังใหม่กินคอมพิวต์เพิ่มราว 20% ของ inference ที่ถูกมอนิเตอร์ และตั้ง SLA ว่าต้องแจ้งเตือนภายใน 30 นาที

· อ่าน 7 นาที
Hugging Face เปิดวิธีเทรน coding agent ด้วย RL แบบ "loop-owning" — ปล่อยให้ OpenCode รันลูปของตัวเอง แล้วเทรนบนโทเคนจริงที่มันพ่นออกมา
เครื่องมือนักพัฒนา

Hugging Face เปิดวิธีเทรน coding agent ด้วย RL แบบ "loop-owning" — ปล่อยให้ OpenCode รันลูปของตัวเอง แล้วเทรนบนโทเคนจริงที่มันพ่นออกมา

5 ส.ค. 2026 Sergio Paniego จาก Hugging Face ปล่อยคู่มือเทรน coding agent ด้วย RL แบบใหม่ — แทนที่ trainer จะขับลูปเอง ให้ harness อย่าง OpenCode รันลูปของมันเองจนจบ แล้ว proxy ดักเก็บ token ID กับ logprob จริงมาเทรนด้วย AsyncGRPO บน sandbox ระยะไกลตัวละ ~$0.01 ต่อชั่วโมง

· อ่าน 7 นาที
Prime Intellect เปิดตัว Verifiers v1 — แยก "สภาพแวดล้อม" ของ Agentic RL ออกเป็น 3 ชิ้นประกอบกันได้
เครื่องมือนักพัฒนา

Prime Intellect เปิดตัว Verifiers v1 — แยก "สภาพแวดล้อม" ของ Agentic RL ออกเป็น 3 ชิ้นประกอบกันได้

Prime Intellect รีไรต์ไลบรารี Verifiers ใหม่หมด (แท็ก 0.2.0 เมื่อ 10 ก.ค.) โดยหั่นสภาพแวดล้อมของ agentic RL ออกเป็น taskset / harness / runtime ที่สลับกันได้ พร้อมโครงสร้าง trace แบบกราฟที่ลดขนาดลง ~10 เท่าในงาน long-horizon — MIT license, ต่อตรงกับ prime-rl.

· อ่าน 6 นาที
Ornith-1.0: โมเดลโค้ดดิ้งโอเพนเวต MIT ที่ "ออกแบบ scaffold ของตัวเองระหว่างเทรน" — 9B รันได้บนการ์ดใบเดียว
โมเดลใหม่

Ornith-1.0: โมเดลโค้ดดิ้งโอเพนเวต MIT ที่ "ออกแบบ scaffold ของตัวเองระหว่างเทรน" — 9B รันได้บนการ์ดใบเดียว

DeepReinforce ปล่อย Ornith-1.0 ตระกูลโมเดลโค้ดดิ้งโอเพนเวตลิขสิทธิ์ MIT (9B/31B/35B/397B) ที่มีจุดเด่นแปลกใหม่: แทนที่จะใช้ agent scaffold ที่มนุษย์ออกแบบไว้ตายตัว โมเดล "เรียนรู้ที่จะสร้าง scaffold ของตัวเอง" ระหว่างขั้น RL ตัวเรือธง 397B ทำ SWE-Bench Verified 82.4 ส่วนรุ่นเล็ก 9B รันได้บน GPU 80GB ใบเดียว

· อ่าน 6 นาที
Microsoft Foundry เปิดตัว OpenEnv + ECHO: สร้าง Reinforcement Learning ของตัวเองสำหรับ AI Agent
เครื่องมือนักพัฒนา

Microsoft Foundry เปิดตัว OpenEnv + ECHO: สร้าง Reinforcement Learning ของตัวเองสำหรับ AI Agent

Microsoft Foundry เปิดตัว OpenEnv Protocol — มาตรฐานเปิดสำหรับสภาพแวดล้อม Agent training บน MCP — และเทคนิค ECHO ที่เพิ่มความเร็ว RL training 2.3× โดยรีไซเคิล token ที่ปกติทิ้งถึง 89% กลับมาใช้ใหม่

· อ่าน 5 นาที
Cursor เปิด Composer 2.5 — coding model agentic ที่ build บน Kimi K2.5 (open-weight จีน) ใช้ 'targeted RL with textual feedback' + 25x synthetic task เทียบเท่า Opus 4.7 แต่ราคา 1/10
โมเดลใหม่

Cursor เปิด Composer 2.5 — coding model agentic ที่ build บน Kimi K2.5 (open-weight จีน) ใช้ 'targeted RL with textual feedback' + 25x synthetic task เทียบเท่า Opus 4.7 แต่ราคา 1/10

Cursor (Anysphere) ออก Composer 2.5 เมื่อ 18 พ.ค. 2026 — เป็น agentic coding model ที่ build ต่อยอดจาก Moonshot Kimi K2.5 (open-weight จีน) ผ่าน post-training ของตัวเองด้วย compute 85% ของ total budget เทคนิคใหม่ที่ Cursor เปิดตัวมี 2 อย่าง: (1) 'targeted RL with textual feedback' ที่ใช้ on-policy distillation ฝึก model ที่ระดับ token-level ในจุดเฉพาะที่ผิด ไม่ใช่แค่ final reward — แก้ปัญหา credit assignment ใน rollout ยาวหลายแสน token (2) synthetic data scale 25x จากรุ่นก่อน รวมเทคนิค 'feature deletion' ที่ลบฟังก์ชันออกจาก codebase แล้วให้ AI implement ใหม่โดยใช้ test เป็น verifiable reward Composer 2.5 ทำคะแนน SWE-Bench Multilingual 79.8% (Opus 4.7 = 80.5%) ใน Terminal-Bench 2.0 = 69.3% (Opus = 69.4%) — เกือบเท่ากัน — แต่ราคาเริ่มที่ $0.50/M input + $2.50/M output (Opus = $15/M) Cursor ประกาศพร้อมว่ากำลังร่วมกับ SpaceXAI ฝึกโมเดลใหญ่กว่านี้ 10x จากศูนย์บน Colossus 2

· อ่าน 7 นาที
งานวิจัยใหม่ — RL ที่ใช้ฝึก LLM ให้ "reasoning" ไม่ได้สอนอะไรใหม่ แค่ปรับน้ำหนัก top-5 ที่จุดตัดสินใจที่ "entropy สูง" (1–3% ของ token เท่านั้น) — ReasonMaxxer ทำได้เท่า full RL แต่ใช้ทรัพยากรน้อยกว่า ~1000 เท่า
งานวิจัย

งานวิจัยใหม่ — RL ที่ใช้ฝึก LLM ให้ "reasoning" ไม่ได้สอนอะไรใหม่ แค่ปรับน้ำหนัก top-5 ที่จุดตัดสินใจที่ "entropy สูง" (1–3% ของ token เท่านั้น) — ReasonMaxxer ทำได้เท่า full RL แต่ใช้ทรัพยากรน้อยกว่า ~1000 เท่า

7 พ.ค. — Ömer Faruk Akgül และทีมจาก USC ปล่อยเปเปอร์ **"Rethinking RL for LLM Reasoning: It's Sparse Policy Selection, Not Capability Learning"** บน arXiv (2605.06241) — token-level analysis ข้าม **3 model family + 6 scale + 6 math benchmark** พบว่า RL ไม่ได้สอน reasoning strategy ใหม่ ๆ ให้ LLM — แค่ **"shift probability mass"** ไปยัง path ที่ base model มีอยู่แล้ว — และ effective correction เกิดที่ **1–3% ของ token positions** ซึ่งเป็นจุด **entropy สูง** ที่โมเดลไม่แน่ใจว่าจะแตก branch ไหน — ทีมเสนอ **ReasonMaxxer** วิธี RL-free ที่ใช้ contrastive loss เฉพาะที่ entropy-gated decision points — match หรือเกิน full RL โดยใช้ **โจทย์หลักสิบข้อ + GPU เดียวไม่กี่นาที** — ลดต้นทุนการฝึก ~3 orders of magnitude

· อ่าน 7 นาที
ICLR 2026: 'The Reasoning Trap' — งานวิจัยพบว่ายิ่งเทรน LLM ให้ reason เก่งขึ้นด้วย RL ยิ่ง hallucinate tool call มากขึ้น เป็นสัดส่วน
งานวิจัย

ICLR 2026: 'The Reasoning Trap' — งานวิจัยพบว่ายิ่งเทรน LLM ให้ reason เก่งขึ้นด้วย RL ยิ่ง hallucinate tool call มากขึ้น เป็นสัดส่วน

งานวิจัย ICLR 2026 ชื่อ 'The Reasoning Trap' พบ paradox สำคัญของยุค reasoning model — การเทรน LLM ให้ reason เก่งขึ้นผ่าน RL ทำให้ task performance สูงขึ้น แต่ rate ของ tool hallucination (เรียก tool ที่ไม่มีหรือไม่มีอยู่จริง) สูงขึ้นเป็นสัดส่วนเดียวกัน — ทีมวิจัยสร้าง benchmark ใหม่ชื่อ SimpleToolHalluBench ทดสอบโดยลบ tool ทิ้งหรือใส่ distractor ที่ดูเกี่ยวข้องแต่ผิด — prompt engineering และ DPO ช่วยได้บางส่วนแต่ปิด gap ไม่ได้ — เป็น 'fundamental reliability-capability trade-off'

· อ่าน 6 นาที
Sony Project Ace ขึ้นปก Nature — หุ่นยนต์ปิงปองตัวแรกที่ชนะนักกีฬาอาชีพ T.League ด้วย latency 20.2ms
งานวิจัย

Sony Project Ace ขึ้นปก Nature — หุ่นยนต์ปิงปองตัวแรกที่ชนะนักกีฬาอาชีพ T.League ด้วย latency 20.2ms

Sony AI ตีพิมพ์ผลงาน Project Ace บนปกวารสาร Nature — เป็นหุ่นยนต์เล่นปิงปองตัวแรกที่ชนะนักกีฬาอาชีพระดับ T.League ของญี่ปุ่นในการแข่งจริง โดยใช้ event-based vision + reinforcement learning ทำ end-to-end latency เพียง 20.2 ms เทียบกับ ~230 ms ของมนุษย์

· อ่าน 5 นาที