แท็ก

#reinforcement learning

11 บทความ

Reflection AI เปิดตัว Beam โมเดล MoE 501B (active 23B) ตัวแรกของแล็บ — ประกาศว่าจะปล่อยน้ำหนักแบบ Apache-2.0 ภายในเดือนนี้ แต่วันนี้ยังดาวน์โหลดไม่ได้ และในตารางของตัวเองก็ยังแพ้ DeepSeek V4.1 Flash หลายรายการ
โมเดลใหม่

Reflection AI เปิดตัว Beam โมเดล MoE 501B (active 23B) ตัวแรกของแล็บ — ประกาศว่าจะปล่อยน้ำหนักแบบ Apache-2.0 ภายในเดือนนี้ แต่วันนี้ยังดาวน์โหลดไม่ได้ และในตารางของตัวเองก็ยังแพ้ DeepSeek V4.1 Flash หลายรายการ

5 ต.ค. 2026 Reflection AI เปิดตัว Beam โมเดล MoE ขนาด 501B พารามิเตอร์ (active 23B) เน้นงานโค้ดและเอเจนต์ เทรนด้วย RL บน GB300 จำนวน 10,500 ตัวนาน 4 สัปดาห์ (rollout กว่า 100 ล้านครั้ง) และบอกว่าใช้คอมพิวต์ตอน inference น้อยกว่า GLM-5.2 ราว 3–4 เท่า ตอนนี้เปิดให้ลงชื่อขอใช้ก่อนเท่านั้น ส่วนน้ำหนักแบบ Apache-2.0 รายงานเทคนิค และ model card จะตามมา "ภายในเดือนนี้"

· อ่าน 6 นาที
PostHog ปล่อย Jeeves — โมเดลตัดสินใจแบบ Jev ขนาด 9B ที่คิดก่อนตอบ ได้ 0.935 บน JevBench สาธารณะ (Jev 0.866) แต่ต้องแลกกับ latency 3.3 วินาที
โมเดลใหม่

PostHog ปล่อย Jeeves — โมเดลตัดสินใจแบบ Jev ขนาด 9B ที่คิดก่อนตอบ ได้ 0.935 บน JevBench สาธารณะ (Jev 0.866) แต่ต้องแลกกับ latency 3.3 วินาที

PostHog เปิด Jeeves เมื่อ 29 ก.ย. เป็นโมเดลตัดสินใจขนาด 9B บน Qwen3.5-9B ที่เขียน reasoning ก่อนคืนความน่าจะเป็น เทรนด้วย SFT และ CISPO มี diffusion drafter ช่วยเร่ง ได้ 0.889 บนชุด test นอกโดเมน (Jev 0.857) และ 0.865 บน JevBench hard (Jev 0.730) แต่ยังแพ้ Jev ในคำถามเชิงความรู้ และ latency มัธยฐานเพิ่มจาก 0.3 เป็น 3.3 วินาที

· อ่าน 4 นาที
Xiaomi ปล่อย MiMo-V2.6 รุ่น MOPD แก้อาการเอเจนต์เรียก tool ซ้ำวนไม่จบ — ต้นเหตุคือเพดานลงโทษใน RL ที่หลวมเกินไป และใช้ teacher เฉพาะทางแก้ด้วยงบ $90,000 แทนการเทรน RL ใหม่ $2.31 ล้าน
โมเดลใหม่

Xiaomi ปล่อย MiMo-V2.6 รุ่น MOPD แก้อาการเอเจนต์เรียก tool ซ้ำวนไม่จบ — ต้นเหตุคือเพดานลงโทษใน RL ที่หลวมเกินไป และใช้ teacher เฉพาะทางแก้ด้วยงบ $90,000 แทนการเทรน RL ใหม่ $2.31 ล้าน

Xiaomi อัปโหลด MiMo-V2.6-Pro-MOPD และ Flash-MOPD ขึ้น Hugging Face เมื่อ 27 ก.ย. เพื่อแก้อาการเรียก tool เดิมซ้ำ ๆ ที่ผู้ใช้เจอหลังเปิดตัว บล็อกของทีมเล่าว่าต้นเหตุคือบทลงโทษ tool-call flooding ใน RL ที่ตั้งเพดานไว้ 32 ครั้งต่อเทิร์น พฤติกรรมที่ต่ำกว่าเพดานจึงถูกขยายขึ้นเรื่อย ๆ ระหว่างเทรน ส่วน API เปลี่ยนเป็นรุ่นแก้แล้วตั้งแต่ 25 ก.ย. โดยไม่เปลี่ยนชื่อโมเดล

· อ่าน 5 นาที
CUA-Lite เปิดโค้ดแพลตฟอร์มเดียวสำหรับ computer-use agent — ตัด VM ทิ้งเหลือ Docker ลด RAM จาก 4.1 GB เหลือ 0.9 GB ต่องาน แต่รีโปยังไม่มีไฟล์ LICENSE
เครื่องมือนักพัฒนา

CUA-Lite เปิดโค้ดแพลตฟอร์มเดียวสำหรับ computer-use agent — ตัด VM ทิ้งเหลือ Docker ลด RAM จาก 4.1 GB เหลือ 0.9 GB ต่องาน แต่รีโปยังไม่มีไฟล์ LICENSE

CUA-Lite รวมแซนด์บ็อกซ์ ชุดข้อมูล การประเมิน SFT และ RL ของเอเจนต์คุมคอมพิวเตอร์ไว้ใน action space และสคีมาเดียว จุดขายจริงคือ Lite.OSWorld ที่ยกงาน OSWorld ทั้ง 369 ข้อออกจาก VM มาไว้ใน Docker — ใช้แรม 0.9 GB แทน 4.1 GB และรันขนานได้ราว 4.6 เท่า แต่รีโปยังไม่มีไฟล์ LICENSE และคำว่า any agent ครอบคลุมแค่ตอน eval

· อ่าน 7 นาที
Google ปล่อย EnvHarness — แทนที่จะสร้างสนามฝึกเอเจนต์ใหม่ทั้งสนาม ให้เอา "ปลั๊กอิน" ไปครอบสนามเดิมแล้วบิดให้ยากตรงจุดที่โมเดลอ่อน
งานวิจัย

Google ปล่อย EnvHarness — แทนที่จะสร้างสนามฝึกเอเจนต์ใหม่ทั้งสนาม ให้เอา "ปลั๊กอิน" ไปครอบสนามเดิมแล้วบิดให้ยากตรงจุดที่โมเดลอ่อน

20 ส.ค. 2026 ทีม Google เผยแพร่ EnvHarness — เลเยอร์ปลั๊กอินที่ครอบสภาพแวดล้อมฝึกเอเจนต์ตัวเดิมเพื่อเปลี่ยนพฤติกรรมมันโดยไม่แตะโค้ดข้างใน พร้อม EnvRigger ที่วิเคราะห์จุดอ่อนของโมเดลแล้วสังเคราะห์ปลั๊กอินให้เอง รายงานผลดีขึ้นสูงสุด 9.0 จุดบนชุดทดสอบที่ไม่เคยเห็น พร้อมใช้ก้าวน้อยลง 9.8% โค้ดเปิด Apache-2.0

· อ่าน 6 นาที
IsoExec ทำให้ trainer กับ vLLM คำนวณ logprob ตรงกันระดับบิต — ค่าเบี่ยงเบนสูงสุดต่อสเต็ปร่วงจาก 5.073 เหลือ ~0.044 แลกกับช้าลง 25.3%
เครื่องมือนักพัฒนา

IsoExec ทำให้ trainer กับ vLLM คำนวณ logprob ตรงกันระดับบิต — ค่าเบี่ยงเบนสูงสุดต่อสเต็ปร่วงจาก 5.073 เหลือ ~0.044 แลกกับช้าลง 25.3%

21 ส.ค. 2026 ทีม SkyRL เผยแพร่ IsoExec บนบล็อก vLLM — สัญญา execution contract บวกเคอร์เนลแบบ batch-invariant ที่บังคับให้ trainer (Megatron) กับ rollout engine (vLLM) ได้ logprob ตรงกันระดับบิต ทดสอบบน Qwen3.5-35B-A3B บน 8xH100 ค่าเบี่ยงเบนสูงสุดต่อสเต็ปลดจาก 5.073 เหลือราว 0.044 ต้นทุนคือ end-to-end ช้าลง 25.3% โค้ดเปิด Apache-2.0

· อ่าน 6 นาที
Bedrock-RL: เขียน Minecraft ใหม่ทั้งเกมด้วย C/CUDA ให้ผลลัพธ์เหมือนเดิมทุกครั้ง แล้วใช้เทรน VLM agent ด้วย RL — พร้อมตัวอย่างที่ผู้เขียนบอกเองว่า "ยังไม่มีนัยสำคัญทางสถิติ"
เครื่องมือนักพัฒนา

Bedrock-RL: เขียน Minecraft ใหม่ทั้งเกมด้วย C/CUDA ให้ผลลัพธ์เหมือนเดิมทุกครั้ง แล้วใช้เทรน VLM agent ด้วย RL — พร้อมตัวอย่างที่ผู้เขียนบอกเองว่า "ยังไม่มีนัยสำคัญทางสถิติ"

19 ส.ค. 2026 มีเฟรมเวิร์กโอเพนซอร์ส MIT ชื่อ Bedrock-RL ออกมา — จับคู่ Netherite ซึ่งเป็น Minecraft ที่เขียนใหม่ด้วย C/CUDA แบบ deterministic เข้ากับ verl เพื่อเทรน vision-language agent ด้วย RL รองรับ GRPO, RLOO, REINFORCE++, SFT และ on-policy distillation พร้อมชุด train/dev/test ที่แยก seed กันจริง

· อ่าน 7 นาที
Qwen-UI-Agent: Alibaba อ้างโมเดล GUI agent ขนาด 27B ชนะ Opus 4.8 และ Gemini 3.1 Pro บนมือถือจริง — แต่ยังไม่ปล่อยน้ำหนักโมเดล
งานวิจัย

Qwen-UI-Agent: Alibaba อ้างโมเดล GUI agent ขนาด 27B ชนะ Opus 4.8 และ Gemini 3.1 Pro บนมือถือจริง — แต่ยังไม่ปล่อยน้ำหนักโมเดล

รายงานเทคนิค Qwen-UI-Agent ลงวันที่ 29 กรกฎาคม 2026 จากทีม MAI-UI ของ Alibaba อ้างว่ารุ่น 27B ทำได้ 82.1% บน MobileWorld, 92.2% บน MobileWorld-Real และ 79.5% บน OSWorld-Verified — เหนือกว่า Claude Opus 4.8 และ Gemini 3.1 Pro บนงานมือถือ และเป็นอันดับสองรองจาก Opus 4.8 บนเดสก์ท็อป โดยฝึกด้วย online RL บนอุปกรณ์จริงกว่า 100 เครื่อง

· อ่าน 7 นาที
Cognition เปิด SWE-1.7: เอาโมเดลเปิด Kimi K2.7 มาเทรน RL ต่อในฮาร์เนสจริงของ Devin — ใกล้ระดับ frontier ที่ต้นทุนเศษเสี้ยว วิ่ง 1,000 โทเคน/วินาที
โมเดลใหม่

Cognition เปิด SWE-1.7: เอาโมเดลเปิด Kimi K2.7 มาเทรน RL ต่อในฮาร์เนสจริงของ Devin — ใกล้ระดับ frontier ที่ต้นทุนเศษเสี้ยว วิ่ง 1,000 โทเคน/วินาที

Cognition เปิดตัว SWE-1.7 โมเดลวิศวกรรมซอฟต์แวร์ที่แรงที่สุดของบริษัท สร้างโดยเอาโมเดลเปิด Kimi K2.7 Code มาโพสต์เทรนด้วย RL ภายในฮาร์เนสจริงของ Devin ทำคะแนน FrontierCode 1.1 ที่ 42.3%, Terminal-Bench 2.1 ที่ 81.5% และ SWE-Bench Multilingual ที่ 77.8% ให้บริการผ่าน Cerebras ที่ความเร็ว 1,000 โทเคนต่อวินาที

· อ่าน 5 นาที
Hugging Face เปิด LeRobot v0.6.0 — อัปเดตใหญ่สุดของเฟรมเวิร์กหุ่นยนต์โอเพนซอร์ส: world model, VLA 5 ตัวใหม่, และท่อ eval ครบวง 'จินตนาการ–ประเมิน–พัฒนา'
เครื่องมือนักพัฒนา

Hugging Face เปิด LeRobot v0.6.0 — อัปเดตใหญ่สุดของเฟรมเวิร์กหุ่นยนต์โอเพนซอร์ส: world model, VLA 5 ตัวใหม่, และท่อ eval ครบวง 'จินตนาการ–ประเมิน–พัฒนา'

LeRobot v0.6.0 คือการอัปเดตครั้งใหญ่ที่สุดของเฟรมเวิร์กหุ่นยนต์โอเพนซอร์สจาก Hugging Face — เพิ่ม world-model policy (VLA-JEPA, FastWAM, LingBot-VA), VLA ใหม่ 5 ตัว (GR00T N1.7, MolmoAct2, EO-1, EVO1, Multitask DiT), reward model API, เบนช์มาร์กจำลอง 6 ชุด, FSDP และเทรนบนคลาวด์ด้วยแฟล็กเดียว ปิดลูป 'จินตนาการ–ประเมิน–พัฒนา' ให้ครบวง

· อ่าน 5 นาที
Patronus AI ระดมทุน $50M Series B พร้อมเปิด 'Digital World Models' — โลกจำลองที่ฝึกและทดสอบ AI agent ก่อนปล่อยใช้งานจริง
เครื่องมือนักพัฒนา

Patronus AI ระดมทุน $50M Series B พร้อมเปิด 'Digital World Models' — โลกจำลองที่ฝึกและทดสอบ AI agent ก่อนปล่อยใช้งานจริง

Patronus AI ปิดรอบ Series B $50 ล้าน นำโดย Greenfield Partners พร้อมเปิดตัว 'Digital World Models' — เว็บไซต์/ระบบภายในเวอร์ชันจำลองขนาดใหญ่ที่ปล่อยให้ AI agent เข้าไปเทรนและถูกทดสอบในสถานการณ์หายากด้วย reinforcement learning ก่อนนำไปใช้งานจริง

· อ่าน 5 นาที