Kyutai เปิด MuScriptor โอเพนเวต — แปลงเพลงจริงทุกแนวเป็น MIDI แยกรายเครื่องดนตรี ด้วยโมเดล decoder-only ตัวเดียว
Kyutai ห้องวิจัย AI สายเสียงจากฝรั่งเศส ร่วมกับ Mirelo AI เปิดตัว MuScriptor โมเดล โอเพนเวตสำหรับถอดเสียงเพลงเป็นโน้ต (automatic music transcription) ที่ทำงานกับเพลงจริงหลายเครื่องดนตรีพร้อมกันได้ทุกแนว เปเปอร์ขึ้น arXiv เมื่อ 9 ก.ค. 2026 พร้อมปล่อยน้ำหนักโมเดลและโค้ดออกมาให้ใช้จริง จุดขายคือ: ป้อนไฟล์เสียงเพลง (ป็อป คลาสสิก เมทัล แจ๊ส หรืออะไรก็ได้) แล้วมันถอดออกมาเป็น MIDI แยกเป็นรายเครื่องดนตรี
งานนี้สำคัญเพราะ automatic music transcription (AMT) เป็นโจทย์ที่ยากมาแต่ไหนแต่ไร โมเดลก่อนหน้าส่วนใหญ่ทำได้ดีเฉพาะเสียงเครื่องดนตรีเดี่ยว หรือพังเมื่อเจอเพลงมิกซ์จริงที่มีหลายเครื่องเล่นซ้อนกัน MuScriptor ตั้งเป้าปิดช่องว่างตรงนี้ และวางตัวเป็น โมเดลเปิดที่ใช้งานได้จริงตัวแรก ๆ ของงาน multi-instrument transcription — เปิดพื้นที่เครื่องมือด้านเสียงที่เดิมแทบไม่มีทางเลือกโอเพนซอร์สดี ๆ
สถาปัตยกรรม: อ่าน mel-spectrogram แล้วพ่น MIDI token
MuScriptor เป็น decoder-only Transformer ที่มองปัญหา transcription เป็นงาน sequence generation แบบเดียวกับโมเดลภาษา: มันอ่าน mel-spectrogram ของช่วงเสียงสั้น ๆ แล้ว autoregressively ทำนายลำดับ token คล้าย MIDI ที่บอก pitch (ระดับเสียง), timing (จังหวะ) และ instrument (เครื่องดนตรี) ทีละตัว เมื่อประกอบกลับก็ได้ไฟล์ MIDI มาตรฐานที่นำเข้าโปรแกรมทำเพลง (DAW) ไปแก้ต่อได้ทันที
ทีมยังใส่ความสามารถ conditioning ตามเครื่องดนตรีที่มีอยู่ — สั่งให้โมเดลถอดเฉพาะเครื่องที่ต้องการ หรือปรับผลลัพธ์ตามรายการเครื่องดนตรีในเพลงได้ เป็นความยืดหยุ่นที่มีค่ากับงานผลิตเพลงจริง
สูตรเทรน: ข้อมูลสังเคราะห์ + เพลงจริง + RL
หัวใจของเปเปอร์อยู่ที่ สูตรผสมข้อมูล ที่แก้ปัญหาคลาสสิกของ AMT ที่ว่า “โมเดลเทรนบนข้อมูลสังเคราะห์แล้ว generalize ไปเพลงจริงไม่ได้” ทีม:
- pre-train บนชุดข้อมูล MIDI สังเคราะห์ขนาดใหญ่ (รายงานราว 1.45 ล้าน MIDI)
- fine-tune บนเพลงจริงพร้อม annotation โน้ตที่ align กัน (ราว 170,000 เพลง / 11,000 ชั่วโมง ครอบคลุมแนวเพลงส่วนใหญ่)
- post-train ด้วย reinforcement learning เพื่อดันคุณภาพผลลัพธ์บนเสียงจริง
การผสมสามชั้นนี้เองที่ทีมชี้ว่าเป็นเหตุผลที่โมเดลใช้ได้จริงกับเพลงในโลกจริง ไม่ใช่แค่ในชุดทดสอบสังเคราะห์
โอเพนเวต 3 ขนาด — แต่ไลเซนส์ห้ามใช้เชิงพาณิชย์
MuScriptor ปล่อยน้ำหนักบน Hugging Face เป็นเช็คพอยต์หลายขนาด (small / medium / large) พร้อมโค้ดบน GitHub และไลบรารีที่ pip/uvx ติดตั้งได้ — เปิดเว็บ UI ที่มี piano roll สดได้ด้วยคำสั่งเดียว uvx muscriptor serve แล้วลากไฟล์เพลงเข้าไปถอดได้เลย
ข้อควรรู้สำคัญ: น้ำหนักปล่อยใต้ไลเซนส์ CC BY-NC 4.0 ซึ่งเป็น non-commercial — ใช้เพื่อวิจัย ทดลอง และงานส่วนตัวได้ แต่ห้ามนำไปใช้เชิงพาณิชย์โดยตรง นี่เป็นข้อแตกต่างที่ต้องอ่านให้ชัดก่อนวางแผนเอาไปฝังในผลิตภัณฑ์ ต่างจากโมเดลโอเพนเวตสาย Apache/MIT ที่ใช้เชิงพาณิชย์ได้เต็มที่
หมายเหตุ: คำเคลมว่าเป็น “โมเดลเปิดที่ดีที่สุดสำหรับ multi-instrument transcription จนถึงตอนนี้” เป็นกรอบที่ทีมผู้พัฒนาระบุเอง เรายังไม่ได้ตรวจสอบตัวเลข leaderboard อิสระประกอบ ควรรอผลเทียบจากบุคคลที่สามก่อนสรุป
มุมมอง AI Curator
MuScriptor น่าสนใจไม่ใช่เพราะเป็นโมเดลใหญ่หรือไล่คะแนน frontier แต่เพราะมันเป็นตัวอย่างที่ดีของ “งาน AI เฉพาะทางที่โอเพนซอร์สทำให้เกิดเครื่องมือใหม่ทั้งหมวด” โจทย์ audio-to-MIDI เคยเป็นพื้นที่ของซอฟต์แวร์ปิดราคาแพงหรือปลั๊กอินเฉพาะทางที่คุณภาพจำกัด การมีโมเดลเปิดที่รันบนเครื่องตัวเองได้ ถอดหลายเครื่องดนตรีพร้อมกัน และต่อเข้า DAW ได้ตรง ๆ เปลี่ยนสมการสำหรับนักดนตรีและนักพัฒนาเครื่องมือดนตรีจำนวนมาก — โดยเฉพาะการที่ทีมเลือกมองปัญหาเป็น sequence generation แบบ decoder-only เหมือนโมเดลภาษา ทำให้คนที่คุ้นกับสถาปัตยกรรม LLM อยู่แล้วเข้ามาต่อยอดได้ไม่ยาก
จุดที่ต้องระวังคือไลเซนส์ CC BY-NC — สายที่อยากเอาไปทำผลิตภัณฑ์เชิงพาณิชย์ต้องรอเงื่อนไขที่ยืดหยุ่นขึ้น หรือติดต่อผู้พัฒนาโดยตรง และคำเคลมเรื่อง “ดีที่สุด” ยังควรรอเบนช์มาร์กอิสระ
สำหรับบริบทไทยและเอเชียตะวันออกเฉียงใต้ที่มี ดนตรีพื้นบ้านและเครื่องดนตรีเฉพาะถิ่น จำนวนมากซึ่งแทบไม่มีชุดข้อมูลโน้ตดิจิทัล เครื่องมือถอดเสียงเป็น MIDI แบบเปิดแบบนี้มีศักยภาพเป็นจุดเริ่มของงาน digitization และ music information retrieval — แม้โมเดลจะเทรนบนเพลงสากลเป็นหลักและอาจยังไม่แม่นกับเครื่องดนตรีไทยเดิม แต่การที่น้ำหนักเปิดให้ fine-tune ต่อได้ ก็เปิดประตูให้ทีมวิจัยหรือมหาวิทยาลัยในภูมิภาคเอาไปต่อยอดกับ dataset ท้องถิ่นได้เอง
แหล่งข่าว
- MuScriptor: An Open Model for Multi-Instrument Music Transcription (arXiv, 9 ก.ค. 2026) — เปเปอร์ต้นทาง
- muscriptor/muscriptor บน GitHub — โค้ดและไลบรารี
- MuScriptor บน Hugging Face — น้ำหนักโมเดล 3 ขนาด (CC BY-NC 4.0)
- Turning audio to MIDI — Mirelo AI Blog — บล็อกจากผู้ร่วมพัฒนา
อ่านเพิ่มในหมวด โมเดลใหม่
Google เปิดตัว Gemini 4 Carbon ขึ้นอันดับ 1 Artificial Analysis v5 ด้วยคะแนน 59 แต่ยังให้ใช้แค่นักป้องกันไซเบอร์กลุ่มเล็ก
Gemini 4 Carbon เปิดตัว 28 ต.ค. แซง Claude Opus 5.5 บน Intelligence Index v5 แค่ 1 คะแนน และตามหลังเพียง 3 คะแนนในดัชนี coding agent ราคาเปิดตัว $2/$10 แต่นักพัฒนาทั่วไปยังเรียกใช้ไม่ได้ ระหว่างที่ Google ค่อย ๆ เปิดผ่านโปรแกรม Fairwind
Microsoft ปล่อย Mage-VL-Cowork โมเดล 4B คุมเดสก์ท็อปและเทอร์มินัลในตัวเดียว ได้ 66% บน OSWorld-Verified สัญญาอนุญาต Apache-2.0
Mage-VL-Cowork ขนาด 4B ของ Microsoft เลือกเองว่าจะคลิกหน้าจอหรือสั่ง bash ทำคะแนน OSWorld-Verified 66.0% ใกล้ค่าอ้างอิงมนุษย์ 72.4% ในตารางเดียวกัน แต่คำว่าดีที่สุดในขนาด 4B มีคู่เทียบบนตารางนี้แค่รุ่นเดียว
Mistral ปล่อยน้ำหนัก Large 4 จริงแล้ว — 1T ราคาลดเกือบครึ่ง แต่บน AA ได้ 26 และสัญญาอนุญาตห้ามขายเป็น API ถ้าไม่มีใบอนุญาตแยก
Mistral ปล่อยน้ำหนัก Large 4 (Le Chonk) เมื่อ 29 ต.ค. เป็นรุ่นที่ฝึก RL ต่ออีกสามสัปดาห์หลัง preview ขนาด 1T ใช้พื้นที่ราว 1.06TB ราคา API ลดเหลือ $0.70/$2.10 Mistral นำ open-weight ด้าน coding แต่คะแนนรวม AA 26 ตามหลังโมเดลจีน และสัญญาอนุญาตกันธุรกิจ Model-as-a-Service