NeMo Switchyard — NVIDIA ปล่อย model router โอเพนซอร์สเขียนด้วย Rust LangChain วัดได้ว่าลดค่าใช้จ่าย 74%

พร้อมกับการเปิดตัว Nemotron 3.5 Lightning เมื่อ 11 สิงหาคม 2026 NVIDIA ปล่อยของอีกชิ้นที่อาจสำคัญกับคนสร้าง agent มากกว่าตัวโมเดลเสียอีก — NeMo Switchyard ไลบรารี model routing โอเพนซอร์ส ที่ตัดสินใจแทนคุณว่าแต่ละขั้นของ agent ควรวิ่งไปหาโมเดลตัวไหน

ปัญหาที่มันแก้ตรงไปตรงมา: agent ที่ทำงานยาว ๆ เรียกโมเดลหลายสิบถึงหลายร้อยครั้งต่องาน แต่ไม่ใช่ทุกครั้งที่ต้องการโมเดลเก่งที่สุด การอ่านไฟล์ การจัดรูปแบบ JSON การตัดสินใจง่าย ๆ ว่าจะเรียกเครื่องมือไหน — งานพวกนี้โมเดล 30B ทำได้พอ ๆ กัน แต่ถ้าปล่อยให้ทุกขั้นวิ่งเข้าโมเดล frontier ค่าใช้จ่ายจะบวมโดยไม่ได้อะไรกลับมา

มันทำงานอย่างไร

Switchyard วางตัวเป็น proxy คั่นระหว่าง agent กับผู้ให้บริการโมเดล — agent ยังพูดภาษา API เดิมของมัน ส่วน Switchyard รับ request แบบ OpenAI Chat, Anthropic Messages และ OpenAI Responses แล้วแปลงข้ามฟอร์แมตให้เอง ก่อนส่งต่อไปยังปลายทางที่เป็น vLLM, NVIDIA NIM, Ollama หรือ endpoint ใด ๆ ที่เข้ากันได้กับ OpenAI

ตัว router มีให้เลือกสี่แบบ แบ่งเป็นสองกลุ่ม:

กลุ่มที่ไม่ต้องจูน (tuning-free)

• LLM classifier — ใช้โมเดลเล็กอ่าน prompt แล้วจัดประเภทว่างานนี้ควรไปไหน
• stage router — เลือกตามขั้นตอนของ workflow ที่กำหนดไว้ล่วงหน้า
• escalation router — เริ่มที่โมเดลถูก ถ้าผลไม่ผ่านเกณฑ์ค่อยยกระดับขึ้นไปหาโมเดลแพง

กลุ่มที่จูนได้ (tunable)

• prefill router — ใช้สัญญาณจาก residual stream ของโมเดลมาตัดสินใจ ซึ่งเป็นวิธีที่ลึกกว่าการอ่านข้อความอย่างเดียว

ตัวโค้ดอยู่บน GitHub ที่ NVIDIA-NeMo/Switchyard ใบอนุญาต Apache 2.0 เขียนด้วย Rust ซึ่งเป็นทางเลือกที่สมเหตุสมผลสำหรับของที่ต้องนั่งอยู่บน hot path ของทุก request ติดตั้งแบบเซิร์ฟเวอร์เดี่ยวได้ตรง ๆ:

cargo install --locked switchyard-server
switchyard-server --config routes.toml --dry-run   # ตรวจ config ก่อน
switchyard-server --config routes.toml --host 127.0.0.1 --port 4000

ตัวเลขที่พาร์ตเนอร์รายงาน

NVIDIA อ้างตัวเลขจากการทดสอบของพาร์ตเนอร์สองเจ้า:

• LangChain — routing ระหว่าง Nemotron 3.5 Lightning กับ Claude Opus 4.8 ลดค่าใช้จ่ายลง 74% เทียบกับการใช้โมเดล frontier ล้วน
• Cognition — ทดสอบบน FrontierCode ได้ความแม่น 50.6% ที่ต้นทุนเฉลี่ย 3.11 ดอลลาร์ ซึ่งถูกกว่าการใช้ Opus 5 อย่างเดียวราว 28%

รายชื่อพาร์ตเนอร์ที่ NVIDIA ระบุว่ากำลัง integrate ค่อนข้างกว้าง: Cognition, LangChain, Nous Research, Kong AI Gateway, LiteLLM, Classmethod, Boomi, Cadence และ Siemens

ควรอ่านตัวเลขพวกนี้ด้วยสายตาที่เหมาะสม — ทั้งหมดเป็นการทดสอบภายในของ NVIDIA และพาร์ตเนอร์ ไม่ใช่การประเมินอิสระ และตัวเลข “ลด 74%” ย่อมขึ้นกับสัดส่วนงานง่าย/งานยากในชุดทดสอบนั้นโดยตรง workload ที่ยากกว่าจะได้ส่วนลดน้อยลงเสมอ

มุมมอง AI Curator

Switchyard คือชิ้นส่วนที่ทำให้ยุทธศาสตร์ของ NVIDIA ชัดขึ้น — บริษัทไม่ได้พยายามขาย Nemotron ว่าเป็นโมเดลที่เก่งกว่า Claude หรือ GPT (ตัวเลขเบนช์มาร์กก็บอกชัดว่าไม่ใช่) แต่กำลังขายความคิดที่ว่า สถาปัตยกรรมที่ถูกต้องของ agent ไม่ใช่โมเดลเดียว แต่คือหลายโมเดลที่มี router คั่นกลาง ซึ่งถ้าความคิดนี้ชนะ NVIDIA ได้ประโยชน์สองต่อ: โมเดลเปิดของตัวเองมีที่ยืนในทุก pipeline โดยไม่ต้องชนะ frontier และทุกชั้นของ pipeline ยังวิ่งบน GPU ของบริษัทอยู่ดี

สิ่งที่ควรจับตาคือ จุดนี้กลายเป็นสนามรบใหม่แล้ว — LiteLLM ทำ proxy หลายโมเดลมาก่อน, OpenRouter ขาย routing เป็นบริการ, และงาน “agent orchestration” หลายชิ้นในปีนี้ก็แตะเรื่องเดียวกัน สิ่งที่ Switchyard เอามาเพิ่มคือ prefill router ที่อ่านสัญญาณภายในโมเดล ซึ่งเป็นของที่ทำได้ยากถ้าคุณไม่ได้ควบคุมทั้ง stack แบบ NVIDIA

สำหรับทีมไทย มุมที่คุ้มที่สุดไม่ใช่การประหยัด 74% ตามที่โฆษณา แต่คือ การผสมโมเดลในประเทศกับโมเดลนอก ถ้าคุณรัน Lightning หรือ Typhoon บนเครื่องในไทยแล้วให้ Switchyard ส่งเฉพาะงานที่ยากจริง ๆ ออกไปหา API ต่างประเทศ ผลที่ได้คือ ข้อมูลส่วนใหญ่ไม่เคยออกนอกประเทศ ซึ่งเป็นคำตอบเชิงสถาปัตยกรรมของโจทย์ PDPA ที่ตรงกว่าการเลือกระหว่าง “ใช้ API ทั้งหมด” กับ “รันเองทั้งหมด” — และการที่มันเป็น proxy มาตรฐาน OpenAI แปลว่าโค้ด agent เดิมไม่ต้องแก้

ข้อควรระวังในทางปฏิบัติ: router ทุกตัวคือ จุดล้มเหลวจุดใหม่ ที่นั่งอยู่บนเส้นทางของทุก request และเมื่อผลลัพธ์เริ่มแปลก คุณจะต้องเดาเพิ่มอีกชั้นว่าเป็นเพราะโมเดลตอบผิด หรือเพราะ router ส่งไปผิดตัว ถ้าจะเอาขึ้น production ควรบันทึก log ไว้ว่าแต่ละ request ถูกส่งไปโมเดลไหนตั้งแต่วันแรก ไม่ใช่ค่อยมาเติมทีหลังตอนไล่บั๊ก

แหล่งข่าว

• Route AI Agent Workloads Across Models with NVIDIA NeMo Switchyard — NVIDIA Technical Blog
• NVIDIA-NeMo/Switchyard — GitHub
• NVIDIA Nemotron 3.5 Lightning and NeMo Switchyard Deliver Faster, Smarter, More Efficient Agentic AI — NVIDIA Blog