TTPO: เทรนโมเดลต่อด้วยข้อสอบที่ไม่มีเฉลย — ให้มันโหวตกันเองแล้วเรียนจากเสียงข้างมาก ดัน Qwen3-1.7B จาก 38.0 เป็น 45.2 บนโจทย์ระดับ AIME

คอขวดที่แท้จริงของการ post-training โมเดลให้เก่งคณิตศาสตร์ไม่ใช่ GPU แต่คือ เฉลย วิธีอย่าง RLVR (reinforcement learning with verifiable rewards) ทำงานได้ดีก็ต่อเมื่อคุณมีชุดโจทย์ที่รู้คำตอบที่ถูกต้อง ซึ่งแปลว่าคุณต้องมีข้อมูลที่มีป้ายกำกับ — และในโดเมนใหม่ ๆ หรือกับโจทย์ที่ผู้ใช้จริงส่งเข้ามา สิ่งนั้นแทบไม่เคยมี

วันที่ 27 สิงหาคม 2026 ทีม ZJU-REAL จาก มหาวิทยาลัยเจ้อเจียง (Zhejiang University) ปล่อยเปเปอร์ TTPO: Test-Time Policy Optimization (arXiv 2608.27448) ที่เสนอทางออกซึ่งฟังดูเสี่ยงแต่ใช้ได้จริง: ทิ้งเฉลยไปเลย แล้วให้โมเดลตอบโจทย์เดิมหลาย ๆ ครั้ง เอาคำตอบที่โหวตกันมากที่สุดมาใช้เป็นเฉลยปลอม แล้วเรียนจากตรงนั้น เปเปอร์ขึ้นเป็นหนึ่งในงานที่ถูกโหวตสูงสุดบน Hugging Face Daily Papers ประจำวันที่ 28 ส.ค. และโค้ดเปิดแล้วที่ ZJU-REAL/TTPO (สร้างรีโปเมื่อ 27 ส.ค. อัปเดตล่าสุด 28 ส.ค.)

หัวใจอยู่ที่การปฏิบัติกับ “ถูก” และ “ผิด” คนละแบบ

ปัญหาของ pseudo-label แบบตรงไปตรงมาคือมันพังง่าย — ถ้าเสียงข้างมากผิด คุณก็แค่เทรนโมเดลให้มั่นใจในความผิดมากขึ้น (คือ confirmation bias ในรูปแบบ gradient descent)

TTPO เลี่ยงกับดักนั้นด้วย objective แบบไม่สมมาตร (asymmetric) ที่ปฏิบัติกับ rollout สองกลุ่มด้วยกลไกคนละตัว:

• rollout ที่ตอบตรงกับเสียงข้างมาก → เข้าสู่ OPSD (On-Policy Self-Distillation) ใช้ forward-KL กลั่นความรู้จากตัวมันเองพร้อมการถ่วงน้ำหนักระดับโทเคน
• rollout ที่ตอบแย้ง → โดน grouped RL penalty

การแยกกลไกแบบนี้สำคัญ เพราะการกลั่นแบบ forward-KL บนคำตอบที่เห็นพ้องกันจะดึงโมเดลเข้าหารูปแบบการให้เหตุผลที่มันทำได้ดีอยู่แล้ว โดยไม่ผลักให้มันมั่นใจเกินจริง ส่วนสัญญาณลงโทษถูกจำกัดไว้เฉพาะกลุ่มที่แย้ง แทนที่จะปั้นเป็น reward เดียวแล้วยัดเข้า RL ทั้งก้อน การเลือกระดับโทเคน (token-level selection) ยังช่วยไม่ให้โมเดลถูกลงโทษทั้งสายเหตุผลเพียงเพราะตอบเลขสุดท้ายผิด

ตัวเลข: เทียบเท่าการเทรนแบบมีเฉลย

ทีมทดสอบกับ Qwen3 สามขนาด (1.7B, 4B, 8B) บนห้าเบนช์มาร์กระดับแข่งขัน — AIME25, HMMT25, AIME26, HMMT26 และ BRUMO25

เทรนบนชุด OpenThoughts (เปิดโหมดคิด) ค่าเฉลี่ยที่ได้คือ

โมเดล	ค่าเฉลี่ยห้าเบนช์มาร์ก
Qwen3-1.7B	40.1
Qwen3-4B	58.6
Qwen3-8B	62.6

ส่วนโหมดที่น่าสนใจกว่าคือ test-time training — เอาโจทย์จากชุดทดสอบที่ ไม่มีป้ายกำกับ มาให้โมเดลเรียนต่อระหว่างใช้งาน:

โมเดล	ผลลัพธ์
Qwen3-1.7B	38.0 → 45.2
Qwen3-4B	61.1
Qwen3-8B	65.3

และเมื่อ ปิดโหมดคิด (no-thinking) ซึ่งเป็นสภาพที่โมเดลอ่อนที่สุด ส่วนต่างยิ่งใหญ่: +25.2 จุดสำหรับ 1.7B, +30.6 สำหรับ 4B และ +36.4 สำหรับ 8B

ข้อสรุปที่ทีมเน้นคือ TTPO ไปได้เทียบเท่า OPSD ที่เทรนด้วยเฉลยจริง บนทั้งห้าเบนช์มาร์ก โดยไม่ใช้ป้ายกำกับสักอัน พร้อมรายงานว่ามี cross-task generalization — ไม่ได้ overfit เฉพาะชุดที่เอามาเทรน

ข้อควรระวังตามปกติ: ตัวเลขทั้งหมดเป็นของทีมผู้เขียนเอง ยังไม่มีการวัดซ้ำโดยอิสระ และการทดลองจำกัดอยู่ที่ตระกูล Qwen3 กับโดเมนคณิตศาสตร์แข่งขันเท่านั้น — ยังไม่มีหลักฐานว่ามันทำงานได้ดีเท่ากันในโดเมนที่ majority vote เชื่อถือไม่ได้ (เช่น งานเขียนเชิงสร้างสรรค์ หรือคำถามที่ไม่มีคำตอบเดียวตายตัว)

ทำไมข้อจำกัดข้อสุดท้ายถึงสำคัญ

TTPO ตั้งอยู่บนสมมติฐานเดียวที่ต้องเป็นจริงจึงจะได้ผล: เสียงข้างมากของโมเดลต้องถูกบ่อยกว่าเสียงข้างน้อย ในคณิตศาสตร์แข่งขันสมมติฐานนี้ค่อนข้างปลอดภัย เพราะคำตอบเป็นตัวเลขเดียวที่ตรวจได้ และวิธีให้เหตุผลผิดมักผิดไปคนละทางจนกระจายตัว ขณะที่วิธีที่ถูกมักลู่เข้าหาคำตอบเดียวกัน

แต่ในโจทย์ที่โมเดลมีอคติร่วมกันอย่างเป็นระบบ — โจทย์ที่มันเข้าใจผิดเหมือน ๆ กันทุกครั้ง — เสียงข้างมากก็จะผิดพร้อมกันทั้งหมด และ TTPO จะกลายเป็นเครื่องขยายอคตินั้นแทน นี่คือเส้นแบ่งที่ควรจำไว้ก่อนจะเอาไปใช้กับงานของตัวเอง

มุมมอง AI Curator

สิ่งที่ทำให้เปเปอร์นี้น่าสนใจสำหรับคนทำงานจริงมากกว่าค่าเฉลี่ยที่ดีขึ้น คือ มันเปลี่ยนสิ่งที่หายากจาก “ข้อมูลที่มีเฉลย” เป็น “compute ตอนอนุมาน” ซึ่งเป็นทรัพยากรที่ทีมเล็กมีมากกว่ามาก การจ้างคนมาติดป้ายชุดข้อมูลคณิตศาสตร์คือโครงการหลายเดือนและงบก้อนใหญ่ ส่วนการปล่อยให้ Qwen3-1.7B ตอบโจทย์เดิมสิบหกรอบบนการ์ดใบเดียวคือเรื่องข้ามคืน

และนั่นคือจุดที่มันเกี่ยวกับไทยโดยตรง ปัญหาใหญ่ที่สุดของการทำโมเดลภาษาไทยไม่เคยเป็นเรื่องสถาปัตยกรรม — มันคือการที่ เราไม่มีชุดข้อมูลไทยที่มีป้ายกำกับคุณภาพดีในปริมาณที่พอ และการสร้างมันแพงเกินกว่าทีมส่วนใหญ่จะทำไหว วิธีการตระกูลนี้ (โมเดลโหวตกันเองแล้วเรียนจากความเห็นพ้อง) คือหนึ่งในไม่กี่เส้นทางที่ทำให้ทีมที่ไม่มีงบติดป้ายข้อมูลยังพอสู้ได้ — ถ้าคุณมีโจทย์ภาษาไทยจำนวนมากในมือแต่ไม่มีเฉลย นี่คือประเภทงานที่ควรอ่าน

แต่ต้องอ่านให้ครบข้อจำกัดด้วย เพราะเงื่อนไข “เสียงข้างมากต้องถูกบ่อยกว่าผิด” นั้น ในภาษาไทยเปราะบางกว่าในคณิตศาสตร์มาก โมเดลส่วนใหญ่เห็นข้อมูลไทยน้อยกว่าอังกฤษหลายเท่า ความผิดพลาดของมันในภาษาไทยจึงมักไม่ใช่ความผิดแบบสุ่มที่กระจายตัวแล้วหักล้างกันเอง แต่เป็นความเข้าใจผิดเชิงระบบที่ซ้ำเหมือนกันทุกรอบ — ซึ่งเป็นสภาพที่ majority vote ให้คำตอบผิดอย่างมั่นใจ ใครจะลองแนวทางนี้กับงานภาษาไทย สิ่งที่ต้องทำก่อนอย่างอื่นคือ วัดให้ได้ก่อนว่าเสียงข้างมากของโมเดลคุณถูกกี่เปอร์เซ็นต์บนชุดตัวอย่างที่มีเฉลยจริงขนาดเล็ก ถ้าตัวเลขนั้นไม่ดีพอ วิธีนี้จะไม่ช่วย — มันจะทำให้แย่ลงอย่างเป็นระบบ

แหล่งข่าว

• arXiv 2608.27448 — TTPO: Test-Time Policy Optimization
• GitHub — ZJU-REAL/TTPO
• Project page — zju-real.github.io/TTPO
• Hugging Face Daily Papers — 28 ส.ค. 2026