Zyphra เปิด ZAYA1-8B — reasoning MoE 760M active param ที่เทรนบน AMD MI300X ทั้ง stack — แตะระดับ Claude 4.5 Sonnet, GPT-5-High ด้วย Markovian RSA test-time compute

วันที่ 6 พ.ค. 2026 Zyphra (สตาร์ทอัพ AI ใน San Francisco) ปล่อย ZAYA1-8B — reasoning Mixture-of-Experts (MoE) ขนาด 760 ล้าน active parameters / 8.4 พันล้าน total parameters — เป็นโมเดลแรกในวงการที่ pretrain + midtrain + supervised fine-tune ทั้ง stack บน AMD Instinct MI300X โดยไม่ใช้ NVIDIA เลย — รัน Apache 2.0 license บน Hugging Face และเปิด serverless endpoint บน Zyphra Cloud

ผลเทียบ benchmark ของ ZAYA1-8B แม้จะมี active parameter ต่ำกว่า 1B — แต่แตะหรือชนะโมเดล open-weight ขนาดใหญ่กว่าหลายเท่า เช่น Mistral-Small-4-119B และยังแข่งได้กับ first-generation frontier reasoning model อย่าง DeepSeek-R1-0528, Gemini 2.5 Pro, Claude 4.5 Sonnet ในงานคณิต/โค้ด

ทำไม “AMD ทั้ง stack” ถึงสำคัญ

ZAYA1-8B ถูก pretrain บน cluster 1,024 MI300X GPU + AMD Pensando Pollara networking — บน infra ที่ Zyphra สร้างคู่กับ IBM Cloud — ไม่มี NVIDIA H100/H200/B200 อยู่ในเส้นทาง training เลย

ก่อนหน้านี้ AMD MI300/MI325 ถูกใช้เป็น inference accelerator เป็นหลัก (Microsoft, Meta, Oracle) — แต่ training-grade MoE ระดับ frontier-class ที่จบครบ pipeline บน ROCm + AMD networking ยังเป็น rare case — งานของ Zyphra เป็นหลักฐานชัดเจนว่า:

1. AMD ROCm + Pollara interconnect ทำ MoE training ได้จริง — ไม่ใช่แค่ “compatible” — แต่ทำได้ระดับ benchmark เทียบ frontier
2. Vendor monopoly ของ NVIDIA ใน training tier กำลังจะแตก — โมเดลที่อยู่ใน Hugging Face ทุกคนตรวจ weight ได้ — เป็น proof point ระดับวงการ
3. ราคา MI300X ที่ถูกกว่า H100/H200 บีบให้ economics ของ training-as-a-service น่าสนใจขึ้น

Markovian RSA — test-time compute ที่ใช้ context จำกัด

นวัตกรรมที่ Zyphra เน้นเป็นพิเศษคือ Markovian RSA (Recursive Self-Aggregation) — test-time compute scheme ใหม่ที่รวม 2 ไอเดีย:

• RSA — generate หลาย trace แบบ parallel แล้ว aggregate ซ้ำๆ
• Markovian thinker — แบ่ง reasoning เป็น chunk ความยาวคงที่ แล้วส่งแค่ tail ของ chunk ก่อนหน้าไป chunk ถัดไป — context window จึงไม่โต

ผลลัพธ์ — ZAYA1-8B กับ Markovian RSA configuration ที่ “extra-high TTC” (5.5M tokens ต่อโจทย์) ชนะ DeepSeek-V3.2 และ GPT-OSS-120B (high) บน APEX-shortlist mathematics benchmark — และแตะ 89.6 vs 88.3 ของ Claude 4.5 Sonnet/GPT-5-High บน HMMT’25

จุดที่น่าสนใจ — Zyphra พบว่าการ apply Markovian RSA harness แบบเดียวกันกับ Qwen3-4B-Thinking-2507 ไม่ได้ผลดีเท่า — แสดงว่า co-design ระหว่าง model + harness สำคัญ — ไม่ใช่แค่ algorithm เปลือกที่จะ port ไปได้

Architecture ที่ทำให้ “intelligence density per parameter” สูง

Zyphra อ้างว่า ZAYA1-8B สูงสุดในเรื่อง “intelligence per active parameter / per FLOP” — มาจาก 3 component หลัก:

1. Compressed Convolutional Attention (CCA) — attention variant ที่ Zyphra พัฒนาเอง (paper arxiv 2510.04476)
2. MLP-based router สำหรับ expert selection — เสถียรกว่า linear router มาตรฐาน
3. Learned residual scaling — ควบคุม residual-norm growth ตาม depth โดยใช้ parameter/FLOP น้อยมาก

post-training pipeline ของ Zyphra แบ่งเป็น 5 stage — SFT, reasoning warmup, RLVE-Gym (puzzle dynamic difficulty), large-scale math/code RL, RLHF/RLAIF — เห็น improvement เด่นในคณิต/โค้ดและ instruction-following

มุมมอง AI Curator

ข่าวนี้ใหญ่กว่า “open-weight reasoning model อีกตัว” — เพราะมัน hit 3 thread พร้อมกัน

หนึ่ง — AMD ใน training tier เป็นจริงแล้ว Microsoft Foundry, Meta, Oracle ใช้ MI300/MI325 เป็น inference เป็นหลัก — แต่ ZAYA1-8B คือ public proof point ว่า MoE frontier training บน ROCm + Pollara ทำได้ — ราคา TPU ของ Google ที่ 40-50% ถูกกว่า NVIDIA + AMD MI300X ที่อยู่ tier เดียวกัน — กำลังบีบ premium pricing ของ NVIDIA H200/B200 ลงในปี 2026-2027

สอง — “intelligence density” กำลังเป็น axis ใหม่ของการแข่ง เดิมการแข่งวัดด้วย “ใหญ่กว่า ดีกว่า” — ZAYA1-8B พิสูจน์ว่า 760M active parameter ที่ออกแบบดี + post-training ดี + test-time compute ดี — แตะ frontier ได้ — สิ่งนี้สำคัญมากสำหรับ on-device, edge, และ self-hosted enterprise deployment ที่ไม่มี GPU 100K-200K มาตอบ

สาม — Markovian RSA เป็น tool ที่ open community สามารถลอกไปใช้ ถ้าทีมไทย/SEA ที่ทำ research/product ใช้ open-weight model ขนาด 7-13B — Markovian RSA ที่ context bounded เปิดทางให้ เพิ่ม reasoning quality โดยไม่ต้องขยาย VRAM — แต่ตามที่ paper เตือน — ต้อง co-design กับ training ไม่ใช่ทำ inference-time only

มุมไทย — มหาวิทยาลัยและสตาร์ทอัพไทยที่อยากเข้า field ของ frontier model — ไม่จำเป็นต้องรอ NVIDIA H100 access (ที่หาไม่ค่อยได้) — AMD MI300/MI325 ผ่าน IBM Cloud, Vultr, RunPod, Crusoe — บวก stack แบบ Zyphra (CCA + MLP router + Markovian RSA) — เริ่มต้นแบบ open-weight model class 7-8B ได้จริง — เป็น playbook ที่ควรอ่าน technical report

แหล่งข่าว

• Zyphra — ZAYA1-8B: Frontier intelligence density, trained on AMD
• PR Newswire — Zyphra Releases ZAYA1-8B Reasoning Model
• HPCwire / AIwire — Zyphra Releases ZAYA1-8B Reasoning Model
• MarkTechPost — A Reasoning MoE Trained on AMD Hardware That Punches Far Above Its Weight Class
• Hugging Face — Zyphra/Zaya1-8B