งานวิจัย
งานวิจัยใหม่ — RL ที่ใช้ฝึก LLM ให้ "reasoning" ไม่ได้สอนอะไรใหม่ แค่ปรับน้ำหนัก top-5 ที่จุดตัดสินใจที่ "entropy สูง" (1–3% ของ token เท่านั้น) — ReasonMaxxer ทำได้เท่า full RL แต่ใช้ทรัพยากรน้อยกว่า ~1000 เท่า
7 พ.ค. — Ömer Faruk Akgül และทีมจาก USC ปล่อยเปเปอร์ **"Rethinking RL for LLM Reasoning: It's Sparse Policy Selection, Not Capability Learning"** บน arXiv (2605.06241) — token-level analysis ข้าม **3 model family + 6 scale + 6 math benchmark** พบว่า RL ไม่ได้สอน reasoning strategy ใหม่ ๆ ให้ LLM — แค่ **"shift probability mass"** ไปยัง path ที่ base model มีอยู่แล้ว — และ effective correction เกิดที่ **1–3% ของ token positions** ซึ่งเป็นจุด **entropy สูง** ที่โมเดลไม่แน่ใจว่าจะแตก branch ไหน — ทีมเสนอ **ReasonMaxxer** วิธี RL-free ที่ใช้ contrastive loss เฉพาะที่ entropy-gated decision points — match หรือเกิน full RL โดยใช้ **โจทย์หลักสิบข้อ + GPU เดียวไม่กี่นาที** — ลดต้นทุนการฝึก ~3 orders of magnitude
· อ่าน 7 นาที