แท็ก

#GRPO

9 บทความ

Samaya Sterling เทรนโมเดล 3B active ต่อจาก Nemotron จนชนะ Fable 5.1 บนเบนช์มาร์กการเงินของตัวเอง — แต่ตัวเลขถูกกว่า 11 เท่าเทียบคนละระบบ
โมเดลใหม่

Samaya Sterling เทรนโมเดล 3B active ต่อจาก Nemotron จนชนะ Fable 5.1 บนเบนช์มาร์กการเงินของตัวเอง — แต่ตัวเลขถูกกว่า 11 เท่าเทียบคนละระบบ

Samaya post-train Nemotron 3.5 Lightning จาก 42.5% เป็น 58.9% บน FrontierFinance เทียบ Claude Fable 5.1 ที่ 55.9% ค่าใช้จ่าย $0.61 ต่อคำถามเทียบ $6.89 แต่เป็นการเทียบกับ Finance Agent v2 คนละ harness และบล็อกไม่ได้ประกาศปล่อยน้ำหนัก

· อ่าน 3 นาที
Cantina ปล่อย apex-flash-1 โมเดลความปลอดภัยแบบ open-weight (MIT) บน GLM-5.3-Flash — แก้โจทย์เจาะช่องโหว่ได้ 40 จาก 60 ข้อด้วยค่าใช้จ่าย $2.38 เทียบ Opus 5 ที่ได้ 43 ข้อแต่ใช้ $74.68 และปล่อยรุ่น abliterated มาด้วยเอง
โมเดลใหม่

Cantina ปล่อย apex-flash-1 โมเดลความปลอดภัยแบบ open-weight (MIT) บน GLM-5.3-Flash — แก้โจทย์เจาะช่องโหว่ได้ 40 จาก 60 ข้อด้วยค่าใช้จ่าย $2.38 เทียบ Opus 5 ที่ได้ 43 ข้อแต่ใช้ $74.68 และปล่อยรุ่น abliterated มาด้วยเอง

Cantina Security ร่วมกับ Yeta Labs ปล่อย apex-flash-1 โมเดล 321B (MoE จาก GLM-5.3-Flash) ไลเซนส์ MIT ที่ฝึก RL ด้วย GRPO บนช่องโหว่จริงจากงานของบริษัท ในชุดทดสอบภายใน 60 โจทย์ทำได้ 66.7% (40 ข้อ) ขณะที่ Claude Opus 5 High ได้ 71.7% แต่แพงกว่าราว 31 เท่า และบริษัทปล่อยรุ่น abliterated ที่ลดการปฏิเสธคำขอมาพร้อมกัน น้ำหนักขึ้น Hugging Face ตั้งแต่ 1 ต.ค. โพสต์นี้จึงเป็นการตามข่าวย้อนหลัง

· อ่าน 5 นาที
Unsloth Studio v0.1.811: ไล่ AMD ย้อนถึง RDNA1–RDNA2, มีอิมเมจ ROCm แยก, เพิ่มบัญชีผู้ใช้หลายคนแยกงานกัน และแซนด์บ็อกซ์ระดับ OS สำหรับ tool
เครื่องมือนักพัฒนา

Unsloth Studio v0.1.811: ไล่ AMD ย้อนถึง RDNA1–RDNA2, มีอิมเมจ ROCm แยก, เพิ่มบัญชีผู้ใช้หลายคนแยกงานกัน และแซนด์บ็อกซ์ระดับ OS สำหรับ tool

18 ก.ย. 2026 Unsloth ปล่อย v0.1.811-beta ที่ขยายการรองรับ AMD ย้อนไปถึงการ์ด RDNA1 และ RDNA2 พร้อมอิมเมจ Docker unsloth/unsloth-rocm แยกต่างหาก (RDNA2–RDNA4 และ CDNA) เพิ่มบัญชีผู้ใช้หลายคนที่แยกงานกันบนเครื่องติดตั้งเดียว และแซนด์บ็อกซ์ระดับ OS แบบพรีวิวสำหรับ Python/Terminal tool บน Linux กับ macOS

· อ่าน 6 นาที
โมเดล 4B เทรนเองด้วยงบ $1,200 ทำ query plan เร็วกว่า Postgres 1.81 เท่า — แต่ต้องอ่านเงื่อนไขให้ครบ
งานวิจัย

โมเดล 4B เทรนเองด้วยงบ $1,200 ทำ query plan เร็วกว่า Postgres 1.81 เท่า — แต่ต้องอ่านเงื่อนไขให้ครบ

16 ก.ย. Rohan Bansal เผยแพร่ qorl งานทดลองเทรนโมเดลเปิด 4B ด้วย off-policy distillation จาก GPT-6 Astra แล้วต่อด้วย agentic RL ให้ออก pg_hint_plan hints ผลบน Join Order Benchmark ได้ geometric mean speedup 1.81 เท่าและลด latency รวม 44.7% ด้วยต้นทุนทั้งโครงการ $1,200 แต่ตัวเลขนี้มาจากการเลือกผลที่ดีที่สุดจาก 3 รอบ ถ้าให้โมเดลเลือกเองเหลือ 1.40 เท่าและมี 7 query ที่ช้าลง

· อ่าน 7 นาที
Google เปิด autofinetune — ให้เอเจนต์จูน Gemma บน TPU ข้ามคืนด้วย program.md ไฟล์เดียว แต่ results.tsv ในรีโปบอกว่า SFT ขยับ 3.7 จุด และกำไร RL กว่าครึ่งมาจากรูปแบบคำตอบ
เครื่องมือนักพัฒนา

Google เปิด autofinetune — ให้เอเจนต์จูน Gemma บน TPU ข้ามคืนด้วย program.md ไฟล์เดียว แต่ results.tsv ในรีโปบอกว่า SFT ขยับ 3.7 จุด และกำไร RL กว่าครึ่งมาจากรูปแบบคำตอบ

Google Developers Blog (11 ก.ย. 2026) เปิด autofinetune ลูปวิจัยอัตโนมัติสไตล์ autoresearch ของ Karpathy สำหรับ post-training: มนุษย์เขียนกติกาใน program.md เอเจนต์แก้ run.py รันบน Tunix + Cloud TPU แล้วเก็บหรือ git reset ตามผล ไฟล์ผลลัพธ์ในรีโปแสดงว่า FunctionGemma 270M ขยับจาก 86.58% เป็น 90.32% ใน 20 รอบ ส่วน GRPO บน Gemma 3 1B ได้ reward เพิ่มราว 11% โดยกว่าครึ่งมาจาก format accuracy

· อ่าน 5 นาที
IsoExec ทำให้ trainer กับ vLLM คำนวณ logprob ตรงกันระดับบิต — ค่าเบี่ยงเบนสูงสุดต่อสเต็ปร่วงจาก 5.073 เหลือ ~0.044 แลกกับช้าลง 25.3%
เครื่องมือนักพัฒนา

IsoExec ทำให้ trainer กับ vLLM คำนวณ logprob ตรงกันระดับบิต — ค่าเบี่ยงเบนสูงสุดต่อสเต็ปร่วงจาก 5.073 เหลือ ~0.044 แลกกับช้าลง 25.3%

21 ส.ค. 2026 ทีม SkyRL เผยแพร่ IsoExec บนบล็อก vLLM — สัญญา execution contract บวกเคอร์เนลแบบ batch-invariant ที่บังคับให้ trainer (Megatron) กับ rollout engine (vLLM) ได้ logprob ตรงกันระดับบิต ทดสอบบน Qwen3.5-35B-A3B บน 8xH100 ค่าเบี่ยงเบนสูงสุดต่อสเต็ปลดจาก 5.073 เหลือราว 0.044 ต้นทุนคือ end-to-end ช้าลง 25.3% โค้ดเปิด Apache-2.0

· อ่าน 6 นาที
Bedrock-RL: เขียน Minecraft ใหม่ทั้งเกมด้วย C/CUDA ให้ผลลัพธ์เหมือนเดิมทุกครั้ง แล้วใช้เทรน VLM agent ด้วย RL — พร้อมตัวอย่างที่ผู้เขียนบอกเองว่า "ยังไม่มีนัยสำคัญทางสถิติ"
เครื่องมือนักพัฒนา

Bedrock-RL: เขียน Minecraft ใหม่ทั้งเกมด้วย C/CUDA ให้ผลลัพธ์เหมือนเดิมทุกครั้ง แล้วใช้เทรน VLM agent ด้วย RL — พร้อมตัวอย่างที่ผู้เขียนบอกเองว่า "ยังไม่มีนัยสำคัญทางสถิติ"

19 ส.ค. 2026 มีเฟรมเวิร์กโอเพนซอร์ส MIT ชื่อ Bedrock-RL ออกมา — จับคู่ Netherite ซึ่งเป็น Minecraft ที่เขียนใหม่ด้วย C/CUDA แบบ deterministic เข้ากับ verl เพื่อเทรน vision-language agent ด้วย RL รองรับ GRPO, RLOO, REINFORCE++, SFT และ on-policy distillation พร้อมชุด train/dev/test ที่แยก seed กันจริง

· อ่าน 7 นาที
Hugging Face เปิดวิธีเทรน coding agent ด้วย RL แบบ "loop-owning" — ปล่อยให้ OpenCode รันลูปของตัวเอง แล้วเทรนบนโทเคนจริงที่มันพ่นออกมา
เครื่องมือนักพัฒนา

Hugging Face เปิดวิธีเทรน coding agent ด้วย RL แบบ "loop-owning" — ปล่อยให้ OpenCode รันลูปของตัวเอง แล้วเทรนบนโทเคนจริงที่มันพ่นออกมา

5 ส.ค. 2026 Sergio Paniego จาก Hugging Face ปล่อยคู่มือเทรน coding agent ด้วย RL แบบใหม่ — แทนที่ trainer จะขับลูปเอง ให้ harness อย่าง OpenCode รันลูปของมันเองจนจบ แล้ว proxy ดักเก็บ token ID กับ logprob จริงมาเทรนด้วย AsyncGRPO บน sandbox ระยะไกลตัวละ ~$0.01 ต่อชั่วโมง

· อ่าน 7 นาที
เอาเครื่องมือสร้าง Agent Skill อัตโนมัติ 4 ตัวมาวัดกันบน CL-Bench แล้วพบว่าทุกตัวได้คะแนนต่ำกว่า 'ไม่ใส่ skill เลย' — รวมถึง Skill-Creator ของ Anthropic
AI Skills

เอาเครื่องมือสร้าง Agent Skill อัตโนมัติ 4 ตัวมาวัดกันบน CL-Bench แล้วพบว่าทุกตัวได้คะแนนต่ำกว่า 'ไม่ใส่ skill เลย' — รวมถึง Skill-Creator ของ Anthropic

เปเปอร์ Skill-α (arXiv 3 ส.ค.) เทรน Qwen3-8B ด้วย GRPO ให้เรียนรู้การ 'แก้ skill ทีละจุด' พร้อม rollback reward และเปิดโค้ด MIT — แต่สิ่งที่น่าตกใจกว่าคือตารางเปรียบเทียบ: บน CL-Bench กับ worker GPT-4o เครื่องมือสร้าง skill อัตโนมัติทั้ง 4 ตัวรวมถึงของ Anthropic ทำคะแนนแย่กว่าการไม่ใส่ skill เลย

· อ่าน 6 นาที