แท็ก

#grpo

3 บทความ

Google เปิดสถาปัตยกรรม Tunix สำหรับ agentic RL — แก้ปัญหา TPU นั่งว่างรอ tool ด้วย async rollout และ pipeline ไร้ barrier
เครื่องมือนักพัฒนา

Google เปิดสถาปัตยกรรม Tunix สำหรับ agentic RL — แก้ปัญหา TPU นั่งว่างรอ tool ด้วย async rollout และ pipeline ไร้ barrier

Google Developers Blog เผยแพร่บทวิเคราะห์เชิงลึก (21 ก.ค. 2026) อธิบายว่า Tunix ไลบรารี post-training แบบ JAX-native จัดการคอขวดของ agentic RL อย่างไร — เมื่อ agent หยุดรอ tool call หรือ web search แล้ว accelerator นั่งว่าง ทางแก้คือ async rollout ด้วย asyncio, pipeline แบบ producer-consumer ที่ไม่มี barrier และการต่อกับ vLLM-TPU / SGLang-Jax

· อ่าน 6 นาที
Google เปิดสูตร 'สอน Gemma ให้คิด' จาก Tunix Hackathon — โมเดลเล็ก 1-2B ฝึก reasoning ได้บน TPU ฟรี 9 ชั่วโมง
เครื่องมือนักพัฒนา

Google เปิดสูตร 'สอน Gemma ให้คิด' จาก Tunix Hackathon — โมเดลเล็ก 1-2B ฝึก reasoning ได้บน TPU ฟรี 9 ชั่วโมง

Google เผยสูตร post-training จาก Tunix Hackathon บน Kaggle ที่มีผู้เข้าแข่งกว่า 11,000 คน พิสูจน์ว่าชุมชนสามารถฝึกโมเดลเล็ก (Gemma-2-2B, Gemma-3-1B) ให้ทำ general reasoning ได้ด้วยงบ compute จำกัด — TPU v5e-8 ฟรีบน Kaggle เพียง 9 ชั่วโมง — โดยผสาน SFT, GRPO และ SimPO เป็น recipe แบบ open-source ที่ทำซ้ำได้จริง

· อ่าน 6 นาที
งานวิจัยใหม่ — RL ที่ใช้ฝึก LLM ให้ "reasoning" ไม่ได้สอนอะไรใหม่ แค่ปรับน้ำหนัก top-5 ที่จุดตัดสินใจที่ "entropy สูง" (1–3% ของ token เท่านั้น) — ReasonMaxxer ทำได้เท่า full RL แต่ใช้ทรัพยากรน้อยกว่า ~1000 เท่า
งานวิจัย

งานวิจัยใหม่ — RL ที่ใช้ฝึก LLM ให้ "reasoning" ไม่ได้สอนอะไรใหม่ แค่ปรับน้ำหนัก top-5 ที่จุดตัดสินใจที่ "entropy สูง" (1–3% ของ token เท่านั้น) — ReasonMaxxer ทำได้เท่า full RL แต่ใช้ทรัพยากรน้อยกว่า ~1000 เท่า

7 พ.ค. — Ömer Faruk Akgül และทีมจาก USC ปล่อยเปเปอร์ **"Rethinking RL for LLM Reasoning: It's Sparse Policy Selection, Not Capability Learning"** บน arXiv (2605.06241) — token-level analysis ข้าม **3 model family + 6 scale + 6 math benchmark** พบว่า RL ไม่ได้สอน reasoning strategy ใหม่ ๆ ให้ LLM — แค่ **"shift probability mass"** ไปยัง path ที่ base model มีอยู่แล้ว — และ effective correction เกิดที่ **1–3% ของ token positions** ซึ่งเป็นจุด **entropy สูง** ที่โมเดลไม่แน่ใจว่าจะแตก branch ไหน — ทีมเสนอ **ReasonMaxxer** วิธี RL-free ที่ใช้ contrastive loss เฉพาะที่ entropy-gated decision points — match หรือเกิน full RL โดยใช้ **โจทย์หลักสิบข้อ + GPU เดียวไม่กี่นาที** — ลดต้นทุนการฝึก ~3 orders of magnitude

· อ่าน 7 นาที