โมเดลถอดเสียงเก่งขึ้นจริง หรือแค่จำข้อสอบได้ — งานวิจัย Hume AI x Hugging Face พบโมเดล ASR เดาตัวเลขที่ไม่มีในเสียงได้ 30-40%

21 สิงหาคม 2026 ทีมวิจัยร่วมจาก Hume AI และ Hugging Face เผยแพร่งานที่ตั้งคำถามตรง ๆ กับตัวเลขที่วงการ speech recognition ใช้เปรียบเทียบกันมาตลอด: word error rate ที่ลดลงเรื่อย ๆ นั้นมาจากการถอดเสียงเก่งขึ้นจริง หรือมาจากการที่โมเดลเรียนรู้ว่า benchmark แต่ละตัวหน้าตาเป็นยังไง

คำตอบที่พวกเขาได้คือ อย่างหลังมีอยู่จริง และมีอยู่ในโมเดลที่คะแนนดีที่สุด

วิธีตรวจสามแบบ

แทนที่จะวัด WER เพิ่มอีกหนึ่งรอบ ทีมวิจัยออกแบบการทดสอบเชิงวินิจฉัยสามชุด:

1. Reference Disagreement Probe — ใช้กลุ่มโมเดลที่ error ต่ำมาช่วยกันหาจุดที่ transcript ต้นฉบับของ benchmark ขัดกับเสียงจริง (คือ benchmark เองที่พิมพ์ผิด) แล้วดูว่าโมเดลจะถอดตามเสียง หรือจะลอกความผิดพลาดนั้นออกมา

2. Masked Entity Retrieval — จงใจ ลบเสียงตัวเลขออกจากคลิป แล้วดูว่าโมเดลจะเติมตัวเลขที่ไม่มีเสียงนั้นออกมาไหม ถ้าเติมได้ถูก แปลว่ามันไม่ได้ฟัง แต่จำได้

3. Orthographic Switching — ทดสอบว่าโมเดลเลือกรูปแบบการสะกด (เช่น “Mr.” กับ “Mister”) ตามธรรมเนียมเฉพาะของแต่ละชุดข้อมูลอย่างเป็นระบบ หรือเลือกแบบสุ่ม

โมเดลที่ทดสอบมี 11 ตัว ครอบคลุมแทบทุกค่ายที่ใช้งานจริง: CohereLabs Cohere, NVIDIA Canary, IBM Granite, Microsoft Phi-4, NVIDIA Parakeet, BosonAI Higgs, Qwen3-ASR, Mistral Voxtral, Moonshot Kimi, OpenAI Whisper Large-v3 และ Moonshine Medium ทดสอบบน VoxPopuli (อังกฤษ) และ LibriSpeech (clean และ other)

ตัวเลขที่พบ

• 6 จาก 11 โมเดลลอก transcript ที่ผิดของ VoxPopuli ออกมาราว 18-30% ของกรณีที่ตรวจ
• โมเดลที่ word error rate ต่ำที่สุด คือกลุ่มที่มีแนวโน้มลอกความผิดพลาดของ benchmark มากที่สุด — ความสัมพันธ์นี้คือหัวใจของงานทั้งชิ้น
• บน LibriSpeech โมเดลอันดับต้น ๆ บางตัว กู้ตัวเลขที่ถูกลบเสียงออกไปแล้วได้ถูกต้อง 30-40% ทั้งที่ในไฟล์เสียงไม่มีข้อมูลนั้นเหลืออยู่
• โมเดล สลับรูปแบบการสะกดให้ตรงกับธรรมเนียมของแต่ละชุดข้อมูลได้แม่นราว 90%
• ราว 40% ของคลิปทดสอบใน VoxPopuli มี reference ที่น่าจะผิด กระทบราว 3% ของคำทั้งหมด
• พฤติกรรมทั้งหมดนี้ อ่อนลงเมื่อทดสอบบนข้อมูลที่เก็บใหม่จากโดเมนเดียวกันแต่หลัง training cutoff

ข้อสุดท้ายคือหลักฐานที่แข็งที่สุด เพราะถ้าโมเดลถอดเสียงเก่งขึ้นจริง ความเก่งนั้นต้องตามไปกับข้อมูลใหม่ในโดเมนเดิมด้วย การที่มันหายไปเมื่อออกจากชุดข้อมูลที่เคยเห็น แปลว่าสิ่งที่วัดได้ส่วนหนึ่ง ไม่ใช่ความสามารถ แต่เป็นความคุ้นเคย

ข้อสรุปของทีมวิจัยตรงไปตรงมา: โมเดลดูจะสามารถจับสัญญาณเชิงเสียงที่บ่งบอกว่า “นี่คือคลิปจาก benchmark ตัวไหน” แล้วปรับพฤติกรรมการถอดเสียงตามนั้นได้ — และ “ผลที่ได้จาก benchmark เฉพาะตัวจึงไม่ generalize ไปยังเสียงใหม่”

มุมมอง AI Curator

งานชิ้นนี้มีค่าตรงที่มันไม่ได้บอกว่า “โมเดลโกง” แบบกล่าวหาลอย ๆ แต่แยกกลไกออกมาให้เห็นว่าอะไรทำให้ตัวเลขสวยขึ้นโดยที่ความสามารถไม่ได้ตามมา และการทดสอบทั้งสามชุดออกแบบได้ฉลาดมาก โดยเฉพาะการลบเสียงตัวเลขออกแล้วดูว่าโมเดลยังเติมได้ไหม — นั่นเป็นการทดสอบที่ไม่มีทางตีความเป็นอย่างอื่นได้เลย ถ้าเสียงไม่มีแล้วยังตอบถูก 30-40% ข้อมูลนั้นมาจากที่อื่น

สิ่งที่ผมคิดว่าคนอ่านควรระวังคือการรีบสรุปว่า “โมเดล ASR ทั้งหมดใช้ไม่ได้” ซึ่งไม่ใช่สิ่งที่งานนี้พูด สัดส่วนที่พบคือ 18-30% ในกรณีที่ reference ผิด และผลกระทบต่อคำโดยรวมใน VoxPopuli อยู่ที่ราว 3% นั่นแปลว่า WER ที่รายงานกันน่าจะดีเกินจริงอยู่บ้าง แต่ไม่ใช่ว่าโมเดลถอดเสียงไม่เป็น ประเด็นจริงคือ ช่องว่างระหว่างโมเดลอันดับ 1 กับอันดับ 5 ที่ห่างกันไม่กี่ทศนิยม อาจเป็นช่องว่างของความคุ้นเคยกับ benchmark มากกว่าช่องว่างของความสามารถ — และนั่นทำให้ leaderboard ใช้ตัดสินใจเลือกโมเดลไม่ได้จริง

ข้อค้นพบที่ผมว่าถูกมองข้ามที่สุดคือ 40% ของคลิปใน VoxPopuli มี reference ที่น่าจะผิด นี่ไม่ใช่ปัญหาของโมเดล เป็นปัญหาของ benchmark และมันหมายความว่าโมเดลที่ถอดเสียง ถูก จะถูกหักคะแนน ในขณะที่โมเดลที่ลอก transcript ผิดได้แม่นกว่าจะได้คะแนนสูงกว่า เรากำลังให้รางวัลกับพฤติกรรมที่ผิดมาระยะหนึ่งแล้วโดยไม่รู้ตัว

สำหรับคนทำงานจริง บทเรียนที่เอาไปใช้ได้ทันทีคือ อย่าเลือกโมเดล ASR จาก WER บน LibriSpeech โดยเฉพาะเมื่องานคุณไม่ใช่คนอเมริกันอ่านหนังสือเสียงในห้องเงียบ ให้เก็บเสียงจริงจากงานคุณสัก 30 นาที ถอดเองให้ถูก แล้ววัดบนชุดนั้น — ต้นทุนครึ่งวันทำงานแลกกับการไม่เลือกโมเดลผิดคุ้มกว่ามาก

และสำหรับภาษาไทยประเด็นนี้ยิ่งหนัก เพราะเราไม่มี benchmark สาธารณะขนาดใหญ่ให้โมเดลจำได้ตั้งแต่แรก ผลคือสองอย่างที่ตรงข้ามกัน: ข้อดีคือตัวเลขที่วัดบนภาษาไทยมีโอกาสสะท้อนความสามารถจริงมากกว่า เพราะไม่มีข้อสอบให้ท่อง ข้อเสียคือเราแทบไม่มีตัวเลขให้ดูเลย และเวลาเลือกโมเดลก็มักต้องอนุมานจากคะแนนภาษาอังกฤษ ซึ่งงานชิ้นนี้เพิ่งแสดงให้เห็นว่าคะแนนนั้นเองก็เชื่อไม่ได้เต็มร้อย ทางออกระยะยาวคือชุมชนไทยต้องช่วยกันสร้างชุดทดสอบที่เก็บใหม่เป็นระยะ — เสียงประชุมจริง เสียง call center จริง เสียงที่มีคำอังกฤษปนไทย — และหมุนเวียนเปลี่ยนชุดทุกปีเหมือนที่ทีมวิจัยชุดนี้ทำ เพราะ benchmark ที่อยู่นิ่งนานพอ สุดท้ายจะกลายเป็นข้อสอบที่ทุกคนท่องได้

แหล่งข่าว

• Hugging Face Blog — Measuring benchmark optimization in speech recognition (21 ส.ค. 2026)
• Hugging Face Blog (ภาพรวม)