Apple วัดผล MLX บน Mac Studio M5 Ultra: Muse Spark Open 816B รันบนสี่เครื่องผ่าน RDMA over Thunderbolt ได้ 36.7 tok/s — TTFT เร็วกว่า M3 Ultra สูงสุด 4.6 เท่า พร้อมคำสั่ง mlx.launch ใช้ต่อกับ OpenCode ได้ทันที

วันที่ 15 ตุลาคม 2026 ทีม Apple Machine Learning Research เผยแพร่บทความ “Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio” ที่วัดผลการรันโมเดลเปิดขนาดใหญ่บน Mac Studio M5 Ultra (512GB) ตั้งแต่เครื่องเดียวไปจนถึงคลัสเตอร์สี่เครื่อง ตัวเอกคือ Muse Spark Open ของ Meta ขนาด 816B ที่ออกวันเดียวกัน โดยสี่เครื่องแบบ tensor parallel ทำความเร็ว decode ได้ 36.73 โทเคนต่อวินาที

บทความนี้ต่างจากตัวเลขในการ์ดโมเดลของ Meta ตรงที่ Apple ให้ ตารางดิบ คำสั่งที่ใช้วัด และวิธีต่อเครื่อง ครบ ทุกตัวเลขมาจาก mlx_lm.benchmark ซึ่งใครมีเครื่องก็รันซ้ำได้ และยังเทียบ M5 Ultra กับ M3 Ultra รุ่นก่อนบนโมเดลที่คนใช้จริงอย่าง Qwen 3.8 27B กับ Mistral Medium 3.5 128B

เครื่องเดียว: M5 Ultra เร็วกว่า M3 Ultra แค่ไหน

Apple แยกสองตัวชี้วัดชัดเจน TTFT (เวลาถึงโทเคนแรก) ขึ้นกับพลังคำนวณ ซึ่ง Neural Accelerator ใน GPU ของ M5 ช่วยได้มาก ส่วน decode ขึ้นกับแบนด์วิดท์หน่วยความจำ ซึ่ง M5 Ultra มี 1.2 TB/s เทียบ 819 GB/s ของ M3 Ultra

ตัวเลขที่คอนเท็กซ์ 8,192 โทเคน (Table 2–3 ในบทความ)

โมเดล	TTFT M3 Ultra	TTFT M5 Ultra	Decode M3 Ultra	Decode M5 Ultra
Qwen 3.8 27B (BF16)	18.2 วินาที	4.1 วินาที	12.46 tok/s	19.69 tok/s
Mistral Medium 3.5 128B (FP8)	95.9 วินาที	24.6 วินาที	4.95 tok/s	7.70 tok/s

สรุปคือ TTFT เร็วขึ้น สูงสุด 4.6 เท่า และ decode เร็วขึ้นราว 1.6 เท่า ที่คอนเท็กซ์ 65,536 โทเคน Qwen 3.8 ใช้ RAM ราว 68GB และ Mistral Medium 3.5 ราว 158GB ส่วนกำลังไฟสูงสุดอยู่ที่ราว 200W สำหรับ M3 Ultra และ 300W สำหรับ M5 Ultra

ข้อสังเกตคือตัวเลข decode ของโมเดล dense ไม่ได้สูงนัก Mistral Medium 3.5 ที่ 7.7 tok/s ยังช้าเกินไปสำหรับงานเอเจนต์ที่ต้องวนหลายรอบ ข้อได้เปรียบหลักของ M5 Ultra อยู่ที่การอ่านคอนเท็กซ์ยาวเร็วขึ้นมาก ซึ่งตรงกับงาน coding agent ที่อินพุตยาวกว่าเอาต์พุตหลายเท่า

หลายเครื่อง: pipeline vs tensor ผ่าน Thunderbolt RDMA

Muse Spark Open ใน NVFP4 ใช้หน่วยความจำราว 493GB สำหรับน้ำหนักอย่างเดียว เครื่องเดียวจึงไม่พอ Apple ต่อเครื่องด้วย RDMA over Thunderbolt 5 ที่มากับ macOS 26.2 และใช้ backend jaccl ของ MLX (v0.30.1 ขึ้นไป) โดยต่อสายสองเส้นต่อคู่เครื่องเพื่อเพิ่มแบนด์วิดท์เป็นสองเท่า

การตั้งค่า (Muse Spark Open, 8K)	TTFT	Decode
2 × M5 Ultra แบบ pipeline	8.4 วินาที	15.74 tok/s
2 × M5 Ultra แบบ tensor	8.2 วินาที	24.99 tok/s
4 × M5 Ultra แบบ tensor	4.8 วินาที	36.73 tok/s

Pipeline parallel (แบ่งเลเยอร์ครึ่งต่อครึ่ง) ทำง่ายแต่ decode แทบไม่เร็วขึ้น เพราะเลเยอร์ยังต้องรันตามลำดับ ข้อดีของมันอยู่ที่ prefill คอนเท็กซ์ยาว ซึ่ง MLX แบ่งเป็นก้อน 8,192 โทเคนแล้วซ้อนการทำงานข้ามเครื่องได้ เร็วขึ้นสูงสุดราว 1.8 เท่าที่ 65K Tensor parallel (แบ่งความกว้างของทุกเลเยอร์) ซับซ้อนกว่าและต้องสื่อสารถี่มาก แต่ได้ decode เร็วขึ้นชัดเจนเมื่อเพิ่มเครื่อง Apple ยอมรับว่าที่คอนเท็กซ์ 65K แบบ tensor สองเครื่องยังช้ากว่า pipeline ในขั้น prefill ของ Muse Spark Open และการใช้สายสองเส้นช่วยลด TTFT ของสี่เครื่องที่ 65K จากราว 50.5 เหลือ 40.6 วินาที

คำสั่งที่ใช้ก็สั้นมาก

mlx.launch --hostfile hostfile.json --backend jaccl --env MLX_METAL_FAST_SYNCH=1 -- \
  mlx_lm.server --model meta-models/Muse-Spark-Open-816B-A42B-NVFP4 --port 8080

MLX_METAL_FAST_SYNCH=1 เป็นฟีเจอร์ทดลองสำหรับซิงก์ CPU–GPU ให้เร็วขึ้น จากนั้นบทความแสดงไฟล์คอนฟิก OpenCode ที่ชี้ provider แบบ @ai-sdk/openai-compatible ไปที่ http://127.0.0.1:8080/v1 เพื่อใช้โมเดลนี้เป็น coding agent แบบโลคัลทั้งหมด

ก่อนลองเอง

• อัปเดต mlx-lm เป็น 0.32.2 ขึ้นไป รุ่น 0.32.1 (15 ต.ค.) แก้ chat template ของ Muse และ 0.32.2 (16 ต.ค.) แก้ชื่อเลเยอร์ให้ตรงกับรีโปบน Hugging Face ใครโหลดเวอร์ชันวันแรกอาจเจอปัญหา
• ตัวเลขทั้งหมดวัดด้วย batch size 1 และสร้างแค่ 128 โทเคนต่อรอบ จึงสะท้อนการใช้งานคนเดียว ไม่ใช่การเสิร์ฟหลายผู้ใช้
• ไดรเวอร์ RDMA over Thunderbolt 5 มากับ macOS 26.2 และ backend jaccl ต้องใช้ MLX v0.30.1 ขึ้นไป บทความไม่ได้ทดสอบเครื่องรุ่นอื่นนอกจาก Mac Studio

มุมมอง AI Curator

บทความนี้เป็นเอกสารที่ดีที่สุดในตอนนี้สำหรับคนที่กำลังตัดสินใจว่าจะลงทุน Mac Studio สำหรับรัน LLM เองหรือไม่ เพราะให้ตัวเลขจริงที่ทำซ้ำได้ ไม่ใช่แค่คำว่า “รันได้” ข้อสรุปที่ได้คือ Mac Studio M5 Ultra เครื่องเดียวเหมาะมากกับโมเดลขนาด 27B–128B ที่ต้องอ่านคอนเท็กซ์ยาว ส่วนโมเดลระดับ 800B ต้องใช้สี่เครื่องถึงจะได้ความเร็วที่ใช้ทำงานจริง (36 tok/s) ซึ่งหมายถึง Mac Studio 512GB สี่เครื่อง งบระดับล้านบาทขึ้นไป

สำหรับองค์กรไทยที่ข้อมูลออกนอกประเทศไม่ได้ เช่น โรงพยาบาล สำนักงานกฎหมาย หรือหน่วยงานการเงิน ตัวเลขนี้เปลี่ยนการคำนวณได้จริง คลัสเตอร์ Mac Studio สี่เครื่องกินไฟสูงสุดรวมราว 1.2kW (300W × 4 ตามตัวเลขของ Apple) เสียบปลั๊กในห้องทำงานธรรมดาได้ ไม่ต้องมีห้องเซิร์ฟเวอร์หรือระบบทำความเย็นพิเศษ เทียบกับ GPU server ระดับ B200 ที่ต้องใช้ทั้งงบและโครงสร้างพื้นฐานมากกว่ามาก แม้ throughput ต่อผู้ใช้หลายคนจะสู้ไม่ได้ก็ตาม

แต่ต้องคิดให้รอบ ตัวเลขทั้งหมดเป็นของคนเดียวใช้ทีละคำขอ ถ้าทีม 20 คนต้องใช้พร้อมกัน ความเร็วจะลดลงชัดเจน และ Apple เลือกโมเดลกับคอนเท็กซ์ที่เหมาะกับฮาร์ดแวร์ตัวเอง ทางที่คุ้มกว่าสำหรับทีมส่วนใหญ่อาจเป็น Mac Studio เครื่องเดียวรันโมเดลขนาดกลางอย่าง Qwen 3.8 27B สำหรับงานที่อ่อนไหว แล้วส่งงานที่เหลือไป API ตามปกติ

แหล่งข่าว

• Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio — Apple Machine Learning Research
• mlx-lm v0.32.2 — GitHub
• MLX distributed documentation