NVIDIA เปิด Nemotron 3 Diarization — โมเดลแยก "ใครพูดเมื่อไร" 100M พารามิเตอร์ รองรับ 8 คนแบบสตรีมมิ่ง ลด DER เฉลี่ย 41% จากรุ่นก่อน ใช้ใน Transformers ได้ทันที

NVIDIA เปิดตัว Nemotron 3 Diarization ผ่านบล็อก Hugging Face เมื่อ 23 ก.ย. 2026 เป็นโมเดล speaker diarization หรือโมเดลที่ตอบคำถามว่า “ใครพูดช่วงไหน” ในไฟล์เสียงหรือสตรีมสด ตัวโมเดลมีขนาดเพียง 100M พารามิเตอร์ น้ำหนักเปิดภายใต้ OpenMDW-1.1 ซึ่งเป็นใบอนุญาตแบบ permissive ที่ใช้เชิงพาณิชย์ได้ ขอแค่แนบตัวใบอนุญาตและ notice ไปด้วย (มีเงื่อนไขยกเลิกสิทธิ์หากฟ้องร้องเรื่องสิทธิบัตร)

ข่าวนี้สำคัญกับนักพัฒนาเพราะ diarization เป็นชิ้นส่วนที่ขาดไม่ได้ของระบบถอดเสียงประชุม, call center analytics และ voice agent ที่ต้องคุยกับหลายคน แต่ตัวเลือกแบบโอเพนที่ สตรีมได้จริงและรองรับเกิน 4 คน ยังมีไม่มาก รุ่นนี้ขยายจาก 4 เป็น 8 ผู้พูด และใช้ checkpoint เดียวครอบคลุมตั้งแต่โหมดออฟไลน์ไปจนถึง latency ต่ำกว่า 1 วินาที

สเปกและวิธีทำงาน

• สถาปัตยกรรม: Transformer encoder 31 ชั้นพร้อม RoPE รับเสียง 16 kHz โมโน ใช้ Mel-spectrogram ความละเอียด 10 ms ย่อลงเป็นเฟรม 80 ms แล้วใช้ Conv1D ขยายผลกลับเป็นความละเอียด 10 ms เริ่มเทรนจาก checkpoint SSL ของ NEST
• การจัดลำดับผู้พูด: สืบทอดแนวทางจาก Sortformer คือเรียงช่องผู้พูดทั้ง 8 ช่องตาม ลำดับที่แต่ละคนเริ่มพูดครั้งแรก จึงไม่ต้องแก้ปัญหา permutation ภายหลัง
• สตรีมมิ่ง: ใช้ Arrival-Order Speaker Cache เพื่อจำตัวตนผู้พูดข้ามช่วงเวลา และใช้คิว FIFO เก็บบริบทล่าสุด มีค่าตั้งที่แนะนำ 4 ระดับ คือ 30.4 s (ออฟไลน์), 1.04 s, 0.64 s และ 0.32 s ตัวเลขเหล่านี้เป็น input buffer latency ยังไม่รวมเวลาประมวลผล เมื่อรันแบบ chunked ความยาวไฟล์ไม่มีขีดจำกัด
• ข้อมูลเทรน: บทสนทนาจริงราว 10,000 ชั่วโมง บวกเสียงผสมหลายผู้พูดแบบจำลองอีก 82,611 ชั่วโมง ครอบคลุม 21 ภาษา

ตัวเลข: ดีขึ้นชัด แต่มีจุดที่ต้องอ่านให้ครบ

NVIDIA เทียบกับรุ่นก่อน diar_streaming_sortformer_4spk-v2.1 ที่ latency 1.04 s บน 8 ชุดข้อมูล และรายงานว่า DER ลดลงเฉลี่ย 41.0% (เฉลี่ยแบบไม่ถ่วงน้ำหนักจากการลดสัมพัทธ์ของแต่ละชุด) โดยลดน้อยสุด 9.0% บน CALLHOME-Part2 และมากสุด 65.2% บน NOTSOFAR1 MHM ตัวอย่างจาก model card:

ชุดข้อมูล (latency 1.04 s)	Sortformer v2.1	Nemotron 3 Diarization
DIHARD III (full)	19.60	13.18
DIHARD III (5–9 คน)	41.39	28.65
AliMeeting Test Near	12.47	6.59
AMI Test MHM	16.36	9.48

ส่วนความเร็วบน RTX PRO 5000 (BF16, batch 1, torch.compile) ได้ RTFx 164 ที่ 1.04 s เทียบกับ 42 ของรุ่นก่อน และที่ 0.32 s ได้ 54 เทียบกับ 21

จุดที่ควรรู้ก่อนเอาไปใช้มีสามข้อ

1. การนับจำนวนผู้พูดไม่ได้ดีขึ้นทุกชุด บน AMI Test MHM ค่า Speaker Counting Accuracy ลดจาก 93.75 เหลือ 81.25 ที่ 1.04 s แม้ DER จะดีขึ้นมาก (ตารางใน card ทำตัวหนาให้ทุกช่องของรุ่นใหม่ รวมถึงช่องที่แย่กว่าด้วย)
2. ตัวเลขผูกกับ reference label เฉพาะ card ระบุว่า AMI, AliMeeting และ NOTSOFAR1 ใช้ label แบบ forced alignment ถ้าใช้ label ต้นฉบับจะเป็นโปรโตคอลอื่นและเทียบกันตรง ๆ ไม่ได้
3. ภาษาไทยไม่ได้ถูกระบุ ใน 21 ภาษา card ระบุชื่อเพียงอังกฤษ จีนกลาง ฮินดี กันนาดา เตลูกู และเบงกาลี ส่วนภาษาอื่นมาจากชุดข้อมูลที่ซื้อลิขสิทธิ์มาโดยไม่แจกแจงรายชื่อ

บล็อกยังอ้างว่าได้อันดับหนึ่งบน Diarization-Bench ของ VoiceArena ด้วย DER 14.72% ขณะที่อันดับสองได้ 19.3% แต่นี่เป็นตัวเลขที่ NVIDIA รายงานเอง

เริ่มใช้งาน

ใช้ได้สองทาง ทางแรกคือผ่าน NeMo (pip install 'nemo-toolkit[asr]' แล้วเรียก SortformerEncLabelModel.from_pretrained("nvidia/Nemotron-3-Diarization")) ทางที่สองคือผ่าน 🤗 Transformers ที่รองรับแบบ native แล้ว (ต้องติดตั้งจาก source ตอนนี้) ผ่าน AutoModelForAudioFrameClassification พร้อม processor ที่ตั้ง streaming_mode เป็น low_latency, very_low_latency หรือ ultra_low_latency ได้ ผลลัพธ์เป็น logits 8 ช่องทุก 10 ms ซึ่งแปลงเป็นช่วงเวลาพร้อม label ผู้พูดได้ทันที

ใน repo มีคู่มือ ASR_INTEGRATION_GUIDE.md สำหรับต่อเข้ากับ ASR ตระกูล Parakeet (เช่น multitalker-parakeet-streaming-0.6b-v1) เพื่อทำ transcript ที่ระบุผู้พูด และมี Space ให้ลองบน Hugging Face ใน repo มีไฟล์ q8_0.gguf ขนาดราว 107 MB อยู่ด้วย แต่ card ยังไม่ได้อธิบายว่าต้องใช้กับ runtime ตัวไหน

มุมมอง AI Curator

โมเดลขนาด 100M ที่สตรีมได้ 8 คนและปล่อยใต้ใบอนุญาต permissive แบบนี้ ทำให้ diarization กลายเป็นชิ้นส่วนสำเร็จรูป ทีมที่ทำระบบถอดเสียงประชุมหรือ QA ของ call center ในไทย ซึ่งหลายเจ้ายังจ่ายค่า API ต่อนาทีหรือประกอบ pipeline แบบหลายขั้นเอง ตอนนี้มีตัวเลือกที่รันบน GPU ของตัวเองได้ในราคาเกือบศูนย์ ข้อมูลเสียงลูกค้าก็ไม่ต้องออกนอกองค์กร ซึ่งสำคัญมากภายใต้ PDPA

แต่เราไม่แนะนำให้เชื่อตาราง benchmark แล้วนำขึ้น production ทันที diarization ขึ้นกับภาษาและสภาพเสียงสูงมาก โมเดลแยกเสียงจากลักษณะเสียงก็จริง แต่ข้อมูลเทรนยังเอียงไปทางอังกฤษ จีน และภาษาอินเดีย ส่วนการประชุมไทยที่มีการพูดแทรก สลับภาษาไทยกับอังกฤษ และใช้ไมค์ห้องประชุมคุณภาพต่ำเป็นโจทย์ที่ card ไม่ได้ทดสอบ ควรวัด DER บนไฟล์จริงของตัวเองสัก 20–30 ไฟล์ก่อน และระวังเรื่องการนับจำนวนผู้พูด ซึ่งตัวเลขของ AMI แสดงว่ายังพลาดได้

ในภาพใหญ่ NVIDIA กำลังสร้าง ชุด speech stack แบบเปิดครบวงจร ตั้งแต่ ASR ตระกูล Parakeet ไปจนถึง diarization ซึ่งเป็นกลยุทธ์เดียวกับที่ใช้กับ LLM คือให้โมเดลฟรีเพื่อให้ workload ไปวิ่งบน GPU ของตน สำหรับนักพัฒนา นี่เป็นเรื่องดี เพราะตอนนี้สร้าง voice pipeline ที่ไม่ผูกกับ API ของใครได้ง่ายขึ้นมาก

แหล่งข่าว

• Know Who Spoke When: Build Real-Time, Multi-Speaker AI with NVIDIA Nemotron 3 Diarization — Hugging Face Blog (NVIDIA, 23 ก.ย. 2026)
• nvidia/Nemotron-3-Diarization — model card บน Hugging Face
• OpenMDW License Agreement 1.1