งานวิจัยใหม่ — RL ที่ใช้ฝึก LLM ให้ "reasoning" ไม่ได้สอนอะไรใหม่ แค่ปรับน้ำหนัก top-5 ที่จุดตัดสินใจที่ "entropy สูง" (1–3% ของ token เท่านั้น) — ReasonMaxxer ทำได้เท่า full RL แต่ใช้ทรัพยากรน้อยกว่า ~1000 เท่า

วงการ post-training LLM อาจกำลังจะเจอกระดูกหักครั้งใหญ่ — เปเปอร์ใหม่จาก USC ที่ขึ้น arXiv เมื่อวันที่ 7 พ.ค. 2026 (arXiv:2605.06241) โดย Ömer Faruk Akgül, Rajgopal Kannan, Willie Neiswanger, Viktor Prasanna ตั้งคำถามตรง ๆ ว่า reinforcement learning ที่ใช้ฝึก reasoning ในโมเดลใหญ่ (RLHF, GRPO, RLVR ฯลฯ) — มันสอน ความสามารถใหม่ หรือแค่ เลือก path ที่ base model มีอยู่แล้ว? คำตอบจากการวิเคราะห์ระดับ token: อย่างหลัง — และเลือกแค่ที่ “จุดสำคัญ” ไม่กี่จุดเท่านั้น

RL ไม่ได้สอนอะไรใหม่ — แค่ “redistribute probability mass”

ผ่านการวิเคราะห์ระดับ token ข้าม 3 model family (เปเปอร์ระบุ Llama, Qwen, และตระกูลอื่น), 6 scale, 6 math reasoning benchmark (MATH, GSM8K ฯลฯ) ทีมพบ pattern ที่สอดคล้องกันอย่างน่าตกใจ:

• เฉพาะ 1–3% ของ token positions เท่านั้นที่ถูก RL “แก้” จริง ๆ
• token ที่ RL promote ขึ้นมา อยู่ใน top-5 ของ base model เสมอ — ไม่ใช่ token ที่ไม่มีอยู่ในกระจาย probability เดิม
• จุดที่ RL ออกฤทธิ์คือจุดที่ entropy ของ base model สูง — ซึ่งเป็นจุดที่โมเดลกำลังลังเลว่าจะแตก branch ไป path ไหน
• ทำ targeted correction เฉพาะที่ตำแหน่งเหล่านี้ → recover เกือบทั้งหมด ของ RL gain
• ทำ random correction (เปลี่ยน token ที่ตำแหน่งสุ่ม) → ไม่ได้ผล

อย่าง implication ใหญ่: capability ของ “reasoning” ที่เราคิดว่า RL ช่วยปลดล็อก — มันมีอยู่แล้วใน base model ตั้งแต่ pretraining จบ RL แค่ “เลือกถูก” ที่จุดตัดสินใจ ~1–3% ของ token เท่านั้น

ReasonMaxxer — RL-free method ที่ match RL ด้วยทรัพยากรเสี้ยวเดียว

ทีมแปลง insight นี้เป็นวิธีฝึกใหม่ชื่อ ReasonMaxxer:

• ไม่ต้องมี RL loop ไม่ต้อง online generation ระหว่างฝึก
• ใช้แค่ base model rollouts ไม่กี่ร้อย sample
• contrastive loss ใช้เฉพาะที่ entropy-gated decision points ที่ base model เอง entropy บอกได้ (ไม่ต้องมี RL-trained reward model)
• ทั้ง correction เป็น low-dimensional — แทนได้ในพารามิเตอร์เพียงเสี้ยวเดียวของโมเดล

ผลลัพธ์บน 6 math benchmark ข้าม 3 model family และ 6 scale:

• ReasonMaxxer match หรือเกิน full RL (GRPO/PPO/RLVR) ในทุก setup
• ใช้ โจทย์หลักสิบข้อ (tens of problems) แทนหลักหมื่นหลักล้าน
• GPU เดียว ไม่กี่นาที แทน cluster ใหญ่หลายชั่วโมง
• ลดต้นทุนการฝึกประมาณ 3 orders of magnitude (~1000 เท่า)

ทำไมงานนี้ถึงน่าจะมี implication ใหญ่

ถ้า conclusion ของเปเปอร์ generalize ได้จริง มีหลายเรื่องที่ต้อง rethink:

1. คำว่า “reasoning model” อาจเป็น misnomer — capability ของ chain-of-thought reasoning ส่วนใหญ่อยู่ใน base model จาก pretraining ตั้งแต่แรก — RL ไม่ได้สร้าง reasoning ใหม่ แต่ “เลือกใช้” reasoning ที่มีอยู่

2. budget การฝึก reasoning ทำได้ตำต่ำกว่าที่เป็น — RLHF/GRPO scale ใหญ่ ๆ ที่ frontier lab ใช้กับ Claude/GPT/Gemini อาจ wasteful ถ้าผลลัพธ์ทำได้ด้วยวิธีที่ใช้ GPU เดียว

3. open-source สามารถไล่ทันได้เร็วขึ้น — ทีมเล็ก ๆ ที่ไม่มี budget RL ของ frontier lab สามารถ apply ReasonMaxxer (หรือ derivative) บน base model เปิดเช่น Qwen, Llama, DeepSeek base — และได้ reasoning quality ใกล้เคียง

4. การประเมิน “training compute” ของโมเดล reasoning จะต้องเปลี่ยน — ถ้าวิธีใหม่ใช้ทรัพยากรน้อยกว่า 1000 เท่า การ benchmark “compute spent” ที่ใช้เป็น proxy ของ progress (เช่นใน Epoch AI dashboard) อาจ misleading

เปเปอร์อยู่ในระยะ v1 — ยังต้องดู replication

เปเปอร์เพิ่งขึ้น arXiv (v1, 7 พ.ค. 2026) — ยังไม่ผ่าน peer review รอบทางการ และยังไม่มี independent replication จากทีมอื่น insight แม้จะ powerful แต่ยังต้องดู:

• ผลในโมเดลขนาดใหญ่กว่า (เปเปอร์ stop ที่ระดับ <100B หรือไม่)
• ผลในงานที่ไม่ใช่ math reasoning (coding, agentic, multimodal)
• ผลในโมเดล mixture-of-experts ที่ entropy pattern อาจต่างกัน

แต่ implication ก็ใหญ่พอที่ทีม frontier lab น่าจะต้อง stress-test framework นี้ในไม่กี่สัปดาห์ข้างหน้า

มุมมอง AI Curator

ผมมองว่าเปเปอร์นี้อาจเป็น “DPO moment” ครั้งที่สอง สำหรับ post-training LLM — เหมือนตอน DPO (Direct Preference Optimization) ของ Rafailov et al. ปลายปี 2023 ที่ลบ RL loop ออกจาก RLHF และพิสูจน์ว่าทำได้ใกล้เคียงด้วย supervised loss ตรง ๆ — ReasonMaxxer กำลังทำสิ่งเดียวกันกับ RL สำหรับ reasoning

ที่น่าสนใจกว่าคือ insight เชิงทฤษฎี: ถ้า RL จริง ๆ แค่ shift probability mass ที่ top-5 alternative อยู่แล้ว และทำเฉพาะที่ 1–3% ของ token — มันแปลว่า “intelligence” ของ frontier reasoning model มันมาจาก pretraining data + scale เกือบหมด ส่วน post-training ทำหน้าที่แค่ “tune control” ให้ output มาเป็น path ที่ถูกต้อง — ซึ่ง insight นี้สอดคล้องกับงานก่อนหน้าเช่น “Does RL really teach new capabilities?” จาก Tsinghua/MIT ปี 2025

สำหรับ ecosystem ไทย/SEA: นี่อาจเป็นข่าวดีที่สุดในรอบปี — ถ้า ReasonMaxxer (หรือ derivative) ทำงานได้กับ base model เปิดที่มี Thai/Lao/Vietnamese context อยู่แล้ว ทีมในไทย (เช่น Float16, SCB10X, VISTEC) สามารถ post-train reasoning model ระดับ frontier ได้ด้วย GPU 1 ตัว + tens of problems — ไม่ใช่หลักหมื่น GPU-hour ที่ทีมต้อง outsource ไป cloud อีกต่อไป ผมคาดว่าภายใน 3–6 เดือนจะเห็น Thai/SEA reasoning model ใหม่ที่ใช้เทคนิคแบบนี้ และต้นทุนการพัฒนาจะลดลงเป็นสิบเท่าหลักร้อยเท่า

ผมจะติดตามว่า frontier lab (OpenAI, Anthropic, Google) จะ comment เรื่องนี้อย่างไร — เพราะถ้า insight ถูกต้อง entire “RL for reasoning” arms race ของ 2025–2026 อาจถูก reframe ใหม่ทั้งหมด

แหล่งข่าว

• Rethinking RL for LLM Reasoning: It’s Sparse Policy Selection, Not Capability Learning — arXiv:2605.06241
• Paper PDF
• arXiv listing — cs.CL May 2026