Open ASR Leaderboard รับภาษาจากซีกโลกใต้เป็นครั้งแรก — ชุดทดสอบฮินดีและอังกฤษอินเดีย 4,888 ผู้พูด ที่ออกแบบมาให้ WER ตัวเดียวโกหกไม่ได้

28 สิงหาคม 2026 Hugging Face ร่วมกับ Voice Arena ประกาศเพิ่มชุดทดสอบสองชุด — Monsoon en-IN (อังกฤษสำเนียงอินเดีย) และ Monsoon hi-IN (ฮินดี) — เข้าสู่ Open ASR Leaderboard ทำให้ ฮินดีกลายเป็นภาษาอินดิกภาษาแรกบนแท็บ multilingual ที่ก่อนหน้านี้มีแต่ภาษายุโรป ทั้งที่มีผู้พูดมากกว่าครึ่งพันล้านคน

แต่ประโยคที่ทำให้บทความนี้น่าอ่านกว่าประกาศเพิ่มภาษาทั่วไป อยู่ย่อหน้าแรก: “Benchmarks decide what gets built” — โมเดลที่ทำคะแนนดีบนลีดเดอร์บอร์ดจะถูกนำไปใช้และพัฒนาต่อ ส่วนความสามารถที่ลีดเดอร์บอร์ดไม่วัด มักจะไม่ถูกพัฒนาเลย และปัญหาคือชุดทดสอบ ASR ส่วนใหญ่ บันทึกว่าพูดอะไร แต่แทบไม่บันทึกว่าใครเป็นคนพูด

ปัญหาที่ WER ตัวเดียวมองไม่เห็น

ทีมงานอ้างงานวิจัยที่มีมานาน — Racial disparities in automated speech recognition พบว่าระบบเชิงพาณิชย์ผิดพลาดกับผู้พูดผิวดำมากกว่าผู้พูดผิวขาวราวสองเท่า และ Quantifying Bias in Automatic Speech Recognition พบความต่างตามเพศ อายุ และสำเนียงเพิ่มอีก

ความแตกต่างเหล่านี้ ไม่ปรากฏบนลีดเดอร์บอร์ด และไม่ใช่เพราะลีดเดอร์บอร์ดปิดบัง แต่เพราะชุดทดสอบที่มันรันอยู่ไม่ได้เก็บข้อมูลว่าใครพูด บทความยกตัวเลขจากงานวิเคราะห์ ASR ภาษาอินเดียที่เคยทำในระดับใหญ่ไว้ว่า อัตราความผิดพลาดระดับอำเภอกระจายตั้งแต่ราว 4% ถึง 44% โดยภูมิภาคที่ข้อมูลน้อยตามหลังเขตฮินดีเบลต์และเมืองใหญ่อย่างชัดเจน — แต่การวิเคราะห์นั้นทำบนเบนช์มาร์กปิด สิ่งที่ Monsoon เพิ่มเข้ามาคือ ทำให้การวิเคราะห์แบบเดียวกันทำได้บนชุดทดสอบสาธารณะที่อยู่บนลีดเดอร์บอร์ดที่วงการดูอยู่แล้ว

ที่ผ่านมางานปรับปรุงลีดเดอร์บอร์ดเน้นไปที่การทำให้ตัวเลข WER โกงยากขึ้น — แยก private split ที่ไม่เปิดเผย, วิเคราะห์ benchmark-fitting เพื่อวัดว่าโมเดลกำลังผลิตซ้ำรีเฟอเรนซ์แทนที่จะถอดเสียงจริงแค่ไหน, และอุดช่องโหว่ของ normaliser บทความสรุปสั้น ๆ ว่า “ทั้งหมดนั้นทำให้ตัวเลขเดียวโกงยากขึ้น แต่มันก็ยังเป็นตัวเลขเดียวอยู่ดี”

เล็กเมื่อวัดเป็นชั่วโมง ใหญ่เมื่อวัดเป็นจำนวนคน

นี่คือหัวใจของการออกแบบ ชุดทั้งสี่รวมกันมีเสียงแค่ราว 17 ชั่วโมง แต่มี ผู้พูด 4,888 คน ที่ไม่ซ้ำกันข้ามสปลิต:

ชุด	ภาษา	ความยาว	ผู้พูด	อำเภอ	รุ่นเครื่อง	รีเฟอเรนซ์
Monsoon en-IN public	อังกฤษอินเดีย	5.62 ชม.	1,444	428	556	normalised + disfluencies
Monsoon en-IN private	อังกฤษอินเดีย	5.58 ชม.	1,405	420	560	normalised + disfluencies
Monsoon hi-IN public	ฮินดี	1.33 ชม.	468	202	315	lattice
Monsoon hi-IN private	ฮินดี	4.47 ชม.	1,571	295	582	lattice

ตัวเลขที่สำคัญที่สุดไม่ได้อยู่ในตาราง แต่อยู่ในข้อสรุปสามข้อที่ตามมา:

• ไม่มีเสียงใครคนเดียวถือคะแนน — ผู้พูดสิบคนที่ยาวที่สุดรวมกันคิดเป็นแค่ 2.8%–6.8% ของความยาวทั้งหมด และ มากกว่าครึ่งของผู้พูดปรากฏเพียงคลิปเดียว ผลบน Monsoon จึงเป็นค่าเฉลี่ยข้ามเสียงหลายร้อยเสียง ไม่ใช่คนไม่กี่คนที่ถูกอัดยาว ๆ
• ไม่มีภูมิภาคหรือเครื่องใดถือคะแนน — ชุดอังกฤษ public ครอบคลุม 428 อำเภอใน 30 รัฐและดินแดนสหภาพ บันทึกจากรุ่นเครื่อง 315–582 รุ่น โดย ไม่มีรุ่นใดเกิน 2.1% ของเซกเมนต์ ในชุดย่อยใด ๆ
• อังกฤษอินเดียในที่นี้ไม่ใช่สำเนียงเดียว — ในชุด public มีผู้พูดจากภาคใต้ 35%, ตะวันออก 18%, ภาคกลาง 18%, เหนือ 16% และตะวันตก 11%

การเก็บข้อมูลตามมาจากการออกแบบนี้ตรง ๆ — คัดเลือกผู้ร่วมโครงการกระจายข้ามหลายร้อยอำเภอแทนการอัดยาว ๆ ในที่น้อยแห่ง, ให้ทุกคน ใช้มือถือและอินเทอร์เน็ตของตัวเอง ทั้งในและนอกอาคาร (เครื่องราคาถูกบนสัญญาณไม่นิ่งจึงถูกเก็บไว้ในเสียงที่ปล่อยออกมา ไม่ได้ถูกกรองทิ้ง) และใช้หัวข้อสนทนาที่ผลักให้เกิดการเล่า การเห็นต่าง และการนึกย้อน ซึ่งเป็นที่ที่ชื่อเฉพาะ ตัวเลข และการเรียบเรียงแบบไม่ได้ซ้อมโผล่ขึ้นมา

แต่ละเซกเมนต์มี 18 คอลัมน์ โดย 12 คอลัมน์เป็นเมทาดาทา — เพศ, วันเกิด, อาชีพ, การศึกษา, สถานภาพสมรส, ช่วงรายได้, อำเภอ/รัฐบ้านเกิด, เมืองปัจจุบัน, จำนวนปีในอำเภอปัจจุบัน, ยี่ห้อและรุ่นเครื่อง — เทียบกับชุดทดสอบ ASR สาธารณะทั่วไปที่ให้มาแค่ id, ทรานสคริปต์ และความยาว

lattice: ทางออกสำหรับภาษาที่เขียนได้หลายแบบ

ส่วนที่ผมคิดว่าน่าสนใจที่สุดในทางเทคนิคคือวิธีจัดการ ความแปรผันของการสะกด

ชุดภาษาอังกฤษใช้รีเฟอเรนซ์แบบสตริงปกติ เพราะ normaliser ของลีดเดอร์บอร์ดยุบความต่างของการสะกดได้เกือบหมด แต่ฮินดีมีความแปรผันมากกว่านั้นมาก และ ไม่มี normaliser ตัวไหนแก้ได้ เพราะความแปรผันไม่ใช่การแมปตายตัวระหว่างสองระบบเขียน ชุดฮินดีจึงส่งมอบรีเฟอเรนซ์เป็น lattice — สำหรับแต่ละช่วงของทรานสคริปต์ จะมีรายการของการสะกดที่ถือว่าถูกต้องทั้งหมด แทนที่จะมีคำตอบเดียว

นี่คือการเปลี่ยนนิยามของ “คำตอบที่ถูก” ในระดับโครงสร้างของชุดข้อมูล ไม่ใช่การไปแพตช์ที่ขั้นตอนคำนวณ WER และมันต่อยอดจากงานวิจัยที่บทความอ้างถึงโดยตรง — Towards Orthographically-Informed Evaluation of Speech Recognition Systems for Indian Languages ที่เสนอมาตรวัดชื่อ OIWER (Orthographically-Informed Word Error Rate) สำหรับภาษาที่มีระบบเขียนไม่คงที่

ฝั่งควบคุมคุณภาพก็เข้มกว่าที่คาด: ทุกไฟล์ผ่านการตรวจภาษาด้วยโมเดล language ID ที่เทรนบนข้อมูลที่คนกำกับกว่า 30 ภาษา, ตรวจเพศที่ผู้พูดแจ้งด้วยตัวจำแนกอีกตัวเป็นการยืนยัน (ไม่ใช่แทนที่), มีโมเดลแยก เสียงสนทนาจริงออกจากเสียงที่เปิดเทปย้อนหลัง, กรองด้วยค่า SNR แต่ จงใจเก็บเสียงรบกวนตามธรรมชาติไว้, ตัดเซกเมนต์ด้วย VAD ที่ความเงียบต่อเนื่อง 2 วินาทีหรือเพดานอ่อน 15 วินาที และผ่าน DNSMOS P.808

รีเฟอเรนซ์ทั้งหมดเป็นงานคน — ร่างแรกมาจากโมเดล ASR ภายในที่ ไม่ปรากฏบนลีดเดอร์บอร์ดสาธารณะใด ๆ เพื่อไม่ให้ระบบที่ถูกวัดมีส่วนสร้างเฉลยที่ใช้วัดตัวเอง จากนั้นนักภาษาศาสตร์เจ้าของภาษาทำงานต่อภายใต้โปรโตคอลห้าระดับ

ขึ้นลีดเดอร์บอร์ดยังไง

อังกฤษอินเดียเข้าลีดเดอร์บอร์ดหลักในชื่อ Voice Arena Monsoon และอยู่ใน ชุดคอลัมน์ดีฟอลต์ ไม่ใช่ตัวเลือกที่ต้องกดเปิด — แปลว่ามันมีผลต่อค่า Average WER ที่เป็นตัวเลขพาดหัวของทุกโมเดล ตั้งแต่วันนี้ ส่วน private split ไปรวมในคอลัมน์ Private (conversational) ร่วมกับข้อมูลของ Appen และ DataoceanAI ฮินดีอยู่ในแท็บ multilingual ซึ่งจัดอันดับเฉพาะโมเดลที่รองรับทุกภาษาที่เลือกไว้ เพื่อให้เทียบกันแบบตัวต่อตัวจริง ๆ

การส่งโมเดลเข้าประเมินทำผ่าน PR บน GitHub ของ Open ASR Leaderboard: รายงานผลบนชุด public เอง แล้วทีม Hugging Face จะตรวจผลบน public และคำนวณผลบน private ให้ ส่วนชุดข้อมูลเปิดให้ดาวน์โหลดแล้วที่ VoiceArena/MonsoonASR-Open-ASR-leaderboard-en-IN และ hi-IN

มุมมอง AI Curator

อ่านจบแล้วผมคิดว่าคุณค่าที่แท้จริงของงานนี้สำหรับคนไทย ไม่ใช่ตัวชุดข้อมูลฮินดี แต่คือแบบแปลนการสร้างชุดทดสอบ — และเราควรอ่านมันในฐานะคู่มือ ไม่ใช่ข่าวต่างประเทศ

ภาษาไทยเจอปัญหาสองข้อเดียวกันนี้ครบทั้งคู่ ข้อแรก ความแปรผันของการเขียน: คำทับศัพท์ที่สะกดได้หลายแบบ (คอมพิวเตอร์/คอมพิวเต้อร์, เว็บไซต์/เวบไซต์), การใช้ไม้ยมกและวรรณยุกต์ที่ไม่คงที่, และเลขไทยกับเลขอารบิก — ทั้งหมดนี้ทำให้คำตอบเดียวไม่พอ แนวคิด lattice ตอบโจทย์ตรงจุด ข้อที่สองหนักกว่านั้นอีก: ภาษาไทยไม่เว้นวรรคระหว่างคำ ดังนั้น WER ของภาษาไทยขึ้นกับตัวตัดคำที่ใช้ ซึ่งแปลว่าตัวเลข WER ภาษาไทยสองตัวจากสองรายงานอาจเทียบกันไม่ได้เลยถ้าใช้ tokenizer คนละตัว — ปัญหาที่วงการ ASR ไทยยังไม่มีมาตรฐานกลาง

และข้อที่สาม ซึ่งเป็นข้อที่แทบไม่มีใครวัด: สำเนียงถิ่น เสียงจากอีสาน เหนือ และใต้ ต่างจากเสียงกรุงเทพฯ ในระดับที่ WER รวมมองไม่เห็นแน่นอน วิธีของ Monsoon — เก็บผู้พูดหลายพันคน คนละคลิปสองคลิป จากหลายร้อยอำเภอ บนมือถือของตัวเอง แทนการอัดคนไม่กี่คนยาว ๆ ในห้องเงียบ — คือวิธีที่ทำได้จริงด้วยงบไม่มหาศาล เพราะ 17 ชั่วโมงคือปริมาณที่เล็กมาก ต้นทุนอยู่ที่การกระจายตัวของคน ไม่ใช่ที่ชั่วโมงเสียง

เรื่องนี้ยังเชื่อมตรงกับข่าวเมื่อสองวันก่อนที่เราเขียนถึง Gemini 3.5 Transcribe ที่อ้างรองรับกว่า 85 ภาษารวมถึง th-TH แต่ ไม่แจกแจง WER รายภาษา — Monsoon คือคำตอบเชิงโครงสร้างต่อปัญหานั้นพอดี: ถ้าไม่มีชุดทดสอบสาธารณะที่มีเมทาดาทาพอจะแยกดูได้ คำว่า “รองรับภาษาไทย” ก็จะยังเป็นคำที่ตรวจสอบไม่ได้ตลอดไป ใครก็ตามในไทย — NECTEC, VISTEC, มหาวิทยาลัย หรือทีมที่ทำ Typhoon/OpenThaiGPT — ที่อยากให้ ASR ไทยดีขึ้นจริง เครื่องมือกดดันที่ได้ผลที่สุดไม่ใช่การเทรนโมเดลเพิ่ม แต่คือ การสร้างชุดทดสอบที่โมเดลของทุกเจ้าต้องถูกวัดด้วย

จุดที่ต้องระวังไว้ด้วยความเป็นธรรม: ชุดฮินดี public มีแค่ 1.33 ชั่วโมงจากผู้พูด 468 คน ซึ่งเล็กพอที่ช่วงความเชื่อมั่นของ WER จะกว้าง และการเทียบโมเดลที่คะแนนใกล้กันบนชุดนี้อาจไม่มีนัยสำคัญทางสถิติ ทีมงานเองก็ระบุตรง ๆ ในหัวข้อสุดท้ายว่า ชุดเหล่านี้ไม่ได้แก้ปัญหา แต่ทำให้มองเห็นปัญหาได้ — ซึ่งเป็นการวางกรอบที่ซื่อสัตย์และควรถูกอ้างซ้ำเวลามีคนเอาไปทำการตลาด

แหล่งข่าว

• The Open ASR Leaderboard Adds Its First Global South Language — Hugging Face Blog (28 ส.ค. 2026)
• Open ASR Leaderboard บน Hugging Face Spaces
• ชุดข้อมูล VoiceArena MonsoonASR — อังกฤษอินเดีย
• ชุดข้อมูล VoiceArena MonsoonASR — ฮินดี
• huggingface/open_asr_leaderboard บน GitHub — ขั้นตอนส่งโมเดลเข้าประเมิน