NVIDIA เปิด ModelExpress — ส่งเวตโมเดลข้าม GPU ตรง ๆ ลดเวลาสตาร์ต DeepSeek-V4 Pro จาก 8 นาที 44 วิ เหลือ 1 นาที 44 วิ

วันที่ 24 ก.ค. 2026 NVIDIA เผยแพร่รายละเอียดของ ModelExpress (MX) — ระบบกระจาย “ของหนัก” ของโมเดล (เวตและ kernel cache) ข้ามคลัสเตอร์ GPU ที่แก้ปัญหาซึ่งทีม inference ทุกทีมเจอแต่แทบไม่มีใครพูดถึง: เวลาที่เสียไปกับการโหลดโมเดลก่อนเริ่มเสิร์ฟจริง

ปัญหาชัดขึ้นตามขนาดโมเดล เมื่อ checkpoint ไปถึงระดับหลายร้อยกิกะไบต์หรือแตะเทระไบต์ ทุกครั้งที่เกิด cold start, autoscale ขึ้นเรพลิกาใหม่ หรืออัปเดตเวตระหว่างเทรน RL ระบบก็ต้องลากไฟล์ก้อนเดิมจาก object storage ลงมาใหม่ทั้งชุด ทั้งที่เวตชุดเดียวกันนั้น นั่งอยู่ใน GPU ของเพื่อนบ้านในคลัสเตอร์เดียวกันอยู่แล้ว

ไอเดียหลัก: ดึงจากเพื่อนบ้าน ไม่ใช่จากคลาวด์

ModelExpress ออกแบบเป็น capability-driven คือเลือกเส้นทางที่เร็วที่สุดที่มีให้ใช้โดยอัตโนมัติ ไล่ลำดับความสำคัญเป็น:

1. P2P RDMA — ดึงเวตจาก GPU ของเรพลิกาที่กำลังเสิร์ฟอยู่ ผ่าน NIXL (NVIDIA Inference Xfer Library)
2. ModelStreamer — สตรีมจาก object storage
3. GPUDirect Storage (GDS) — อ่านจากดิสก์ในเครื่อง
4. fallback ผ่าน host memory — ทางสุดท้าย

สถาปัตยกรรมแยกเป็น control plane ที่ค้นหาแหล่งที่เข้ากันได้ (ผ่าน Redis, Kubernetes CRD หรือ metadata ของ k8s service) กับ data plane ที่ทำหน้าที่ย้ายข้อมูลจริง จุดที่ต้องระวังเรื่องความถูกต้องคือ MX จะคำนวณ mx_source_id จากค่าโมเดลและการตั้งค่ารันไทม์ เพื่อการันตีว่า tensor layout ของต้นทางกับปลายทางเข้ากันได้จริง — ไม่ใช่คัดลอกไบต์ข้ามเรพลิกาที่ตั้งค่าไม่เหมือนกัน

ตัวเลขจากการทดสอบ

เบนช์มาร์กที่ NVIDIA ยกมาใช้ DeepSeek-V4 Pro บนโหนด 8xB200 ที่มี NIC เป็น ConnectX-7 รันด้วย vLLM 0.23.0 ที่ TP=8 พร้อมแฟล็ก --enable-flashinfer-autotune:

• ย้าย เวต + JIT kernel cache จากเรพลิกาที่เสิร์ฟอยู่ ไปยังเรพลิกาใหม่ผ่าน P2P RDMA ได้ใน ไม่ถึง 10 วินาที
• เวลาสตาร์ตรวมลดจาก 8 นาที 44 วินาที เหลือ 1 นาที 44 วินาที

จุดที่น่าสนใจคือมันย้าย JIT kernel cache ไปด้วย ซึ่งเป็นต้นทุนที่คนมักลืม — เรพลิกาใหม่ไม่ต้องเสียเวลา autotune/คอมไพล์เคอร์เนลซ้ำเอง

อีกส่วนที่เป็นงานวิศวกรรมระดับลึกคือ VMM arena registration: แทนที่จะลงทะเบียนหน่วยความจำทีละ tensor (ซึ่งกลายเป็นการเรียกหลักพันครั้ง) MX รวบการจองหน่วยความจำตอนโหลดทั้งหมดไว้ใน virtual address arena ขนาด 16 TiB ก้อนเดียว แล้วลงทะเบียนเป็น region เดียวที่หนุนด้วย dmabuf — เหลือการเรียก ครั้งเดียว ส่วนโหมด pool registration ที่เบากว่า ลดจำนวนการลงทะเบียนลงราว 80–99% ในโมเดลทั่วไป

ใช้กับอะไรได้บ้าง

ModelExpress มี integration กับ vLLM และ SGLang โดยตรง พร้อมรองรับ Dynamo และ llm-d โค้ดและ roadmap อยู่ใน repo ของโปรเจกต์ Dynamo (github.com/ai-dynamo/modelexpress) ส่วนชิ้นส่วนที่เกี่ยวข้องอย่าง NIXL และ Model Streamer เป็นโอเพนซอร์สอยู่ก่อนแล้ว

มุมมอง AI Curator

เรื่องนี้ดูเป็นงาน infra ที่ไกลตัวนักพัฒนาแอป แต่ตัวเลข 8:44 → 1:44 แปลเป็นภาษาธุรกิจได้ตรง ๆ ว่า autoscaling ที่เคยไร้ประโยชน์ กลับมาใช้ได้จริง — ถ้าเรพลิกาใหม่ใช้เวลาเกือบเก้านาทีกว่าจะพร้อมรับทราฟฟิก คุณก็ต้องจ่ายค่า GPU สำรองไว้ตลอดเวลาเพื่อกันพีค แต่ถ้าเหลือไม่ถึงสองนาที การสเกลตามโหลดจริงเริ่มสมเหตุสมผล นี่คือการลดต้นทุนที่ไม่ต้องแลกกับคุณภาพโมเดลเลยแม้แต่นิดเดียว ซึ่งหายากในงาน optimization ยุคนี้

สำหรับบริบทไทยและ SEA จุดที่ควรสนใจเป็นพิเศษคือ ต้นทุนแบนด์วิดท์และระยะทางไปยัง object storage ทีมที่เสิร์ฟโมเดลในภูมิภาคนี้มักดึง checkpoint ข้ามรีเจียน หรือจ่ายค่า egress ทุกครั้งที่สเกล — ค่าใช้จ่ายที่โตตามจำนวนครั้งที่รีสตาร์ต ไม่ใช่ตามปริมาณงานที่เสิร์ฟจริง แนวคิด “ดึงจาก GPU เพื่อนบ้านในแร็คเดียวกันแทนที่จะดึงจากคลาวด์” จึงให้ผลกับคลัสเตอร์ในภูมิภาคนี้มากกว่าคลัสเตอร์ที่นั่งติดกับ storage ในสหรัฐฯ ด้วยซ้ำ

ข้อควรระวังที่ต้องพูดให้ครบ: ตัวเลขนี้มาจากสภาพแวดล้อมที่แทบจะดีที่สุดเท่าที่ซื้อได้ — B200 แปดใบพร้อม ConnectX-7 และเครือข่าย RDMA ทีมที่รันบน GPU รุ่นเก่ากว่า, บนคลาวด์ที่ไม่เปิด RDMA ให้ หรือบนโหนดเดี่ยวที่ไม่มี “เพื่อนบ้าน” ให้ดึงเวต จะตกไปใช้เส้นทางรองอย่าง ModelStreamer หรือ GDS ซึ่งไม่ได้ให้อัตราเร่งระดับนี้ ก่อนตั้งความหวังควรตรวจก่อนว่าคลัสเตอร์ของคุณมี RDMA ระหว่างโหนดจริงหรือไม่ เพราะนั่นคือเงื่อนไขที่ทำให้ตัวเลขในบล็อกเกิดขึ้นได้

ในภาพใหญ่ นี่เป็นสัญญาณว่าการแข่งขันด้าน inference กำลังย้ายสนามจาก “โมเดลเร็วแค่ไหน” ไปสู่ “ระบบพร้อมเสิร์ฟเร็วแค่ไหน” — เมื่อโมเดลโอเพนเวตขนาดหลายร้อยพันล้านพารามิเตอร์กลายเป็นของปกติ เวลาและค่าใช้จ่ายในการ “ขน” โมเดลก็เริ่มมีน้ำหนักพอ ๆ กับเวลาที่ใช้รันมันจริง ๆ

แหล่งข่าว

• ModelExpress: Distributing Model Artifacts at the Speed of Light — NVIDIA Developer Blog (24 ก.ค. 2026)
• NVIDIA Inference Xfer Library (NIXL) — GitHub
• Model Streamer — GitHub