โมเดลตอบภาษากรีกถูก แต่ "คิด" เป็นภาษาอังกฤษ 1,000 จาก 1,000 ครั้ง — งานวิจัยที่ควรอ่านก่อนใครก็ตามที่คิดจะ fine-tune โมเดลให้เก่งภาษาไทย

ถ้าคุณเคยคิดจะเอาโมเดลโอเพนสักตัวมา fine-tune ให้ “เก่งภาษาไทย” แล้ววัดผลด้วยชุดข้อสอบภาษาไทย เปเปอร์ชิ้นนี้กำลังบอกว่าวิธีวัดของคุณอาจมองไม่เห็นสิ่งที่คุณเปลี่ยนไปเลย

Thinking in a Low-Resource Language: What SFT Builds, What RL Fixes, What Accuracy Cannot See โดย Ayoub Kirouane และ Christos Petrocheilos ขึ้น arXiv เมื่อ 18 ส.ค. 2026 (เป็นข่าวที่เราตามเก็บย้อนหลัง ไม่ใช่ของวันนี้) งานนี้หยิบโมเดล mixture-of-experts แนวหน้าสามตระกูล — จาก Alibaba, OpenAI และ NVIDIA ขนาดพารามิเตอร์แอ็กทีฟ 3.6–4.0B เท่ากันทุกตัว — มา fine-tune ให้ให้เหตุผลเป็นภาษากรีก แล้วรายงานผลอย่างซื่อสัตย์ผิดปกติ รวมถึงรายงานว่า เครื่องมือวัดของตัวเองโกหกไปหกครั้ง และแต่ละครั้งถูกจับได้ด้วยตัวควบคุมแบบไหน

ผลลัพธ์แรกของเปเปอร์คือ “ไม่มีอะไรเกิดขึ้น” — และนั่นคือประเด็น

ผลลัพธ์ที่หนึ่ง: เบนช์มาร์กของคุณคือสัญญาณรบกวน

หลัง fine-tune ทุกสูตร คะแนน accuracy แทบไม่ขยับ แต่ก่อนจะสรุปว่า “fine-tune ไม่ได้ผล” ผู้เขียนทำสิ่งที่งานส่วนใหญ่ไม่ทำ: รันซ้ำโดยเปลี่ยนแค่ random seed อย่างเดียว

ผลคือคะแนนแกว่ง 7.7 จุด

เจ็ดจุดเจ็ด มากกว่าผลของทุกอย่างที่พวกเขาทดลอง — ทั้งชุดข้อมูล ทั้งสูตรเทรน รวมกันทั้งหมด แปลตรง ๆ คือ ที่สเกลนี้ ถ้าคุณเปรียบเทียบสองสูตรแล้วเห็นคะแนนต่างกัน 3–5 จุด คุณกำลังอ่านเสียงรบกวน ไม่ใช่ผลของสูตร

ประโยคนี้ควรถูกแปะไว้เหนือจอของทุกทีมที่กำลังทำโมเดลภาษาไทย เพราะรายงานผล fine-tune ที่เราเห็นกันทั่วไป — “สูตร A ชนะสูตร B ที่ 2.4 จุดบนชุดทดสอบภาษาไทย” — แทบทั้งหมดไม่ได้รายงาน seed variance ไว้ด้วย และถ้าไม่รายงาน ก็ไม่มีทางรู้ว่าตัวเลขนั้นแปลว่าอะไร

ผลลัพธ์ที่สอง: โมเดลตอบถูก แต่คิดในภาษาที่ผู้ใช้อ่านไม่ออก

นี่คือส่วนที่ผมคิดว่าสำคัญที่สุดสำหรับภาษาไทย

โมเดลตั้งต้นทั้งหมด ไม่เคยคิดเป็นภาษากรีกเลย: 0 จาก 1,000 reasoning trace แม้คำถามจะเป็นภาษากรีกก็ตาม มันอ่านคำถามภาษากรีก คิดเป็นภาษาอังกฤษ แล้วตอบกลับเป็นภาษากรีกได้ถูกต้อง

ในมุมคะแนน นี่คือความสำเร็จ ในมุมการใช้งานจริง นี่คือปัญหา เพราะผู้เขียนชี้ว่ามันทำให้ผู้ใช้ “อ่าน ตรวจสอบ หรือแก้ไข” กระบวนการคิดของโมเดลไม่ได้ — และในงานที่ chain-of-thought คือสิ่งที่คุณต้องรีวิว (งานกฎหมาย งานแพทย์ งานที่ต้องอธิบายให้ผู้ตรวจสอบฟัง) โมเดลที่ตอบถูกแต่คิดในภาษาที่ทีมคุณอ่านไม่ออก มีค่าน้อยกว่าที่คะแนนบอกมาก

หลัง SFT ภาพเปลี่ยนทันที:

• ทุกเช็กพอยต์ที่ปล่อยออกมา ให้เหตุผลในภาษาเดียวกับคำถาม ~98% ของข้อ
• มีหนึ่งตระกูลที่ทำได้โดยใช้ โทเคนน้อยลง 3 เท่า
• คะแนน grammaticality ที่ตัดสินโดยผู้ตัดสิน ดีขึ้นทุกโมเดลในการทดลอง
• ความสามารถทั่วไปยังอยู่ในระยะไม่กี่จุดจากโมเดลตั้งต้น — ไม่มีอะไรถูกลืม และได้ความคล่องภาษาเพิ่มมา

พูดอีกอย่าง: SFT ไม่ได้ทำให้โมเดล “ฉลาดขึ้น” (accuracy ไม่ขยับ) แต่มันย้ายการคิดเข้ามาอยู่ในภาษาที่ผู้ใช้ตรวจสอบได้ โดยไม่ต้องแลกกับความสามารถเดิม นั่นคือของที่มีค่าจริง และเป็นของที่เบนช์มาร์กแบบเดิมให้เครดิตศูนย์บาท

ผลลัพธ์ที่สาม: สิ่งที่ SFT แก้ตัวเองไม่ได้ ต้องใช้ RL

SFT ทิ้งข้อบกพร่องไว้สามอย่าง และเปเปอร์วัดมันเป็นตัวเลข:

1. คำตอบราวหนึ่งในสี่ข้ามฟอร์แมตที่สั่งไว้ (24%)
2. คำตอบรั่วเข้าไปอยู่ในช่อง reasoning (3.5%)
3. สั่งตรง ๆ ว่า “ให้คิดเป็นภาษาอังกฤษ” แล้วเชื่อฟังไม่ถึงครึ่ง

จากนั้นพวกเขาใช้ RL with verifiable rewards (RLVR) โดยลงทะเบียนสมมติฐานไว้ล่วงหน้าก่อนเทรน (pre-registration) ซึ่งเป็นวินัยที่หายากมากในงาน ML ผลคือ:

ข้อบกพร่อง	ก่อน RL	หลัง RL
ข้ามฟอร์แมตที่สั่ง	24%	2.5%
คำตอบรั่วเข้าช่อง reasoning	3.5%	0.0%
เชื่อฟังคำสั่ง “คิดเป็นภาษาอังกฤษ”	—	+9.1 จุด

สองข้อแรกวัดเทียบกับ flat random-reward control คือเทรนด้วยรางวัลสุ่มแบบแบน ๆ เพื่อพิสูจน์ว่าผลที่ได้มาจากสัญญาณรางวัลจริง ไม่ใช่จากการที่โมเดลถูกเทรนต่ออีกรอบเฉย ๆ — นี่คือตัวควบคุมที่งาน RLVR ส่วนใหญ่ไม่ใส่

และรายละเอียดสุดท้ายที่สำคัญ: นิสัยการคิดเป็นภาษากรีกรอดจากการเทรนด้วย gradient ที่มองแต่ accuracy โดยไม่ถูกทำลาย แปลว่าสิ่งที่ SFT สร้างขึ้นไม่ได้เปราะบางจนหายไปเมื่อโดน RL ทับ

ผู้เขียนเสนอ มิติพฤติกรรมหกด้าน สำหรับวัดการเปลี่ยนแปลงพวกนี้ โดยแต่ละมิติมี gate ที่ ตัดทิ้งเมตริกใดก็ตามที่มีความสัมพันธ์กับความยาวเอาต์พุต — เพราะเมตริกที่แปรตามความยาวคือกับดักคลาสสิกที่ทำให้ “โมเดลพูดยาวขึ้น” ถูกอ่านผิดเป็น “โมเดลดีขึ้น” พวกเขาปล่อยเช็กพอยต์ห้าตัว และย้ำว่าเครื่องมือ ตัวควบคุม และการ pre-register ทั้งหมด ย้ายไปใช้กับภาษา low-resource ภาษาไหนก็ได้ กรีกเป็นแค่เคสที่ทำให้วัดได้

มุมมอง AI Curator

เปเปอร์นี้ควรเป็นเอกสารบังคับอ่านของทุกโครงการโมเดลภาษาไทย และเหตุผลไม่ใช่เพราะกรีกกับไทยเหมือนกัน แต่เพราะ มันเปลี่ยนคำถามที่เราถามผิดมาตลอด

วงการ LLM ไทยวัดความก้าวหน้าด้วยคะแนนข้อสอบเป็นหลัก — คะแนน O-NET, ชุดข้อสอบแปล, benchmark ภาษาไทยที่ประกอบจากข้อสอบเลือกตอบ และทุกครั้งที่มีโมเดลไทยตัวใหม่ ตัวเลขที่ถูกยกขึ้นพาดหัวคือ accuracy ที่ชนะตัวก่อนไม่กี่จุด งานชิ้นนี้กำลังบอกว่า ที่สเกลโมเดลแอ็กทีฟราว 4B ความต่างไม่กี่จุดนั้นอาจเป็นเพียง seed และถ้าเป็นจริง แปลว่าเราอาจใช้เวลาหลายปีเถียงกันเรื่องความต่างที่ไม่มีอยู่จริง ขณะที่ความต่างที่มีอยู่จริง — โมเดลคิดเป็นภาษาอะไร, เชื่อฟังฟอร์แมตแค่ไหน, คำตอบรั่วออกจากช่องที่ควรอยู่หรือเปล่า — ไม่มีใครวัด

ประเด็น “คิดเป็นภาษาอังกฤษแล้วตอบเป็นภาษาไทย” นั้นตรงกับสิ่งที่ใครที่ใช้โมเดลโอเพนกับงานไทยเจอทุกวัน เปิด reasoning ของโมเดลจีนหรือโมเดลตะวันตกกับคำถามภาษาไทย แล้วคุณจะเห็นภาษาอังกฤษเต็มไปหมด (บางตัวมีจีนปน) ที่ผ่านมาเราปลอบใจกันว่า “ไม่เป็นไร ตอบถูกก็พอ” เปเปอร์นี้ให้เหตุผลชัดว่าทำไมถึงไม่พอ: ในระบบที่ต้องมีมนุษย์รีวิว — ซึ่งคือระบบส่วนใหญ่ในองค์กรไทยที่กล้าเอา LLM ไปใช้จริง — chain-of-thought ที่ผู้รีวิวอ่านไม่ออกเท่ากับไม่มี chain-of-thought และมันแย่กว่าไม่มี เพราะมันสร้างภาพลวงว่าตรวจสอบได้

ข่าวดีคือ ทางแก้ในเปเปอร์ ถูกกว่าที่คิดมาก สิ่งที่ทำให้โมเดลย้ายมาคิดเป็นภาษาเป้าหมายได้ 98% คือ SFT ธรรมดา ไม่ใช่ pretraining ใหม่ ไม่ใช่คลัสเตอร์ H100 และไม่ต้องมีข้อมูลไทยระดับล้านล้านโทเคน สำหรับ SCB10X, VISTEC, OpenThaiGPT หรือทีมองค์กรที่ทำโมเดลเฉพาะทาง นี่คือข้อความว่า งบที่มีอยู่เพียงพอสำหรับเป้าหมายที่ถูกต้อง ถ้าเลิกไล่คะแนนแล้วหันมาไล่พฤติกรรม

ส่วนที่ยากกว่าคือวินัย: seed หลายค่า, ตัวควบคุมรางวัลสุ่ม, การ pre-register, gate ที่ตัดเมตริกซึ่งแปรตามความยาว และการยอมรับต่อสาธารณะว่าเครื่องมือวัดของตัวเองพังไปหกครั้ง สิ่งเหล่านี้ไม่ต้องใช้ GPU เพิ่มแม้แต่ใบเดียว แต่ต้องใช้ความกล้าที่จะตีพิมพ์ผลที่ไม่สวย และถ้าอยากให้ AI ภาษาไทยไปได้ไกลกว่าการประกาศคะแนน ผมคิดว่านั่นคือของที่เราขาดจริง ๆ — ไม่ใช่ GPU

แหล่งข่าว

• Thinking in a Low-Resource Language: What SFT Builds, What RL Fixes, What Accuracy Cannot See — arXiv:2608.17744, ส่ง 18 ส.ค. 2026, Ayoub Kirouane และ Christos Petrocheilos
• Hugging Face Daily Papers — หน้ารวมบทคัดย่อและการพูดถึงในชุมชน