EchoWM: world model ที่ "เดินเข้าไปข้างในได้" — JD ทำวิดีโอ 720p พร้อมเสียงแวดล้อม ดนตรี และคำพูดในโมเดลเดียว แล้วขึ้นอันดับ 1 WBench Navigation เหนือ Genie 3

world model รอบปีที่ผ่านมาแข่งกันอยู่สองแกน — ภาพสวยแค่ไหน กับคุมกล้องได้แม่นแค่ไหน สิ่งที่แทบทุกตัวยังไม่ทำคือ เสียง ผู้ใช้เดินเข้าไปในโลกที่โมเดลสร้าง มองเห็นทุกอย่าง แต่โลกนั้นเงียบสนิท แล้วต้องเอาไปต่อ pipeline video-to-audio อีกชั้นทีหลัง

24 สิงหาคม 2026 ทีม Echo จาก Joy Future Academy ในเครือ JD ร่วมกับนักวิจัยจาก HKUST, PKU, HKU, THU, USTC, FDU, Beihang และ Stanford ปล่อยเปเปอร์ EchoWM: Open and Enterable Omnimodal World Models (arXiv 2608.23189) — โมเดลที่รับ “เจตนาการเคลื่อนกล้อง” แบบต่อเนื่อง แล้วสร้างวิดีโอ 720p พร้อมเสียงแวดล้อม ดนตรี และคำพูดออกมาพร้อมกันในโมเดลเดียว และยังคุมความสอดคล้องได้ตลอด rollout ยาว ๆ กับการเดินต่อหลายเทิร์น

คำว่า enterable ในชื่อเปเปอร์คือหัวใจ — ไม่ใช่วิดีโอที่ดูเฉย ๆ แต่เป็นโลกที่ “เดินเข้าไปข้างในได้”

interface เดียวคุมทั้งมุมมองบุคคลที่หนึ่งและที่สาม

ปัญหาที่ EchoWM แก้ตรง ๆ คือ world model ส่วนใหญ่ผูกกับ control vocabulary แบบใดแบบหนึ่ง โมเดลสายเกมรับปุ่ม WASD เป็นคำสั่งไม่ต่อเนื่อง โมเดลสายวิดีโอรับ camera pose ต่อเนื่อง ทั้งสองแบบเทรนบนข้อมูลคนละสเกล — วิดีโอเกมกับวิดีโอจริงมี metric scale ไม่ตรงกัน พอ normalize มั่ว ๆ ระยะทางการเคลื่อนที่ก็หายไป

EchoWM แปลงทุกอย่างเป็น relative 6-DoF trajectory ชุดเดียว พร้อม dataset-level metric calibration ที่รักษาขนาดการเคลื่อนไหวข้ามแหล่งข้อมูลที่ต่างกันไว้ และเข้ารหัสความสัมพันธ์เชิงเรขาคณิตระหว่างกล้องคู่หนึ่งด้วย relative UCPE

ผลที่น่าสนใจกว่าคือ โมเดลตีความ trajectory เดียวกันได้สองแบบตามบริบทฉาก — ในฉากมุมมองบุคคลที่หนึ่ง มันหมายถึงการเคลื่อนที่ของผู้สังเกต ส่วนในฉากบุคคลที่สาม ความสัมพันธ์ระหว่างกล้องกับตัวละครถูกเรียนจากข้อมูลเอง โดยไม่ต้องมี controller แยกต่อมุมมอง

ฝั่งข้อมูล ทีมสร้าง world-data engine จากสี่แหล่งที่เสริมกัน: gameplay ภายในองค์กร, gameplay จากเว็บ, ซิมูเลชันจาก Unreal Engine และวิดีโอทั่วไปจากอินเทอร์เน็ต — เหตุผลตรงไปตรงมาคือวิดีโอจริงมีเสียงที่รวย แต่การเคลื่อนไหวรก ส่วนซิมมีเรขาคณิตแม่นแต่ความหมายจืด ไม่มีแหล่งไหนดีพอเพียงลำพัง

การเทรนแบ่งเป็นสี่ระยะ: AV-CPT ปูพื้นไดนามิกภาพและ prior ของเสียง → Action-SFT แช่แข็ง backbone แล้วเทรนเฉพาะ trajectory pathway บาง ๆ เพื่อแยกความไวต่อการควบคุมออกมา → Joint-FT รวมสองความสามารถด้วย learning rate ต่ำ → Autoregressive Post-Training ปรับให้โมเดลอยู่กับ context ที่ตัวเองสร้างเองได้ในการ rollout ยาว

ตัวเลข: อันดับ 1 WBench Navigation และ error การหมุนกล้องเหลือไม่ถึงครึ่ง

บน WBench Navigation ชุดทางการ 158 เคส (ครอบคลุมทั้งมุมมองที่หนึ่งและที่สาม) EchoWM ขึ้นอันดับ 1:

โมเดล	Avg.	Quality	Interaction	Consistency
EchoWM	81.7	81.5	87.2	89.8
EchoWM-Flash	81.0	81.1	87.9	77.5
HiDream-O1-World	80.9	81.0	80.0	88.0
Alaya-EVOKE	80.8	82.8	78.6	86.9
Kling 3.0	79.0	81.4	69.4	83.7
Wan 2.7	78.1	81.5	64.4	81.6
Cosmos3-Super	76.0	76.4	58.0	85.0
LTX-2.3	74.2	77.1	66.4	77.2
Genie 3	73.9	75.2	73.4	82.6

จุดที่ควรอ่านให้ละเอียดคือคอลัมน์ Interaction — โมเดลวิดีโอเชิงพาณิชย์อย่าง Kling 3.0 (91.0 ในคอลัมน์ Setting) และ Cosmos3-Super (91.6) ทำคะแนน “ความสวยและตรงฉาก” ได้สูงกว่า EchoWM ด้วยซ้ำ แต่พอวัด การเดินตามคำสั่งนำทาง กลับร่วงไปที่ 69.4 และ 58.0 นั่นคือเส้นแบ่งระหว่าง “วิดีโอสวย” กับ “โลกที่คุมได้”

EchoWM-Flash คือรุ่นกลั่น (distill) แบบ causal สี่สเต็ป ที่น่าทึ่งคือมันทำคะแนน Interaction ได้ 87.9 สูงกว่ารุ่นเต็ม 87.2 ทั้งที่แทนการ generate แบบ bidirectional หลายสเต็ปด้วย inference สี่สเต็ป — แลกกับ Consistency ที่ตกจาก 89.8 เหลือ 77.5

บน SANA-WM-Bench ฝั่ง long-horizon ตัวเลขที่ห่างที่สุดคือความแม่นของกล้อง — บน simple-trajectory split ค่า error การหมุน (R, องศา, ยิ่งต่ำยิ่งดี) ของ EchoWM อยู่ที่ 3.22 เทียบกับคู่แข่งที่ดีที่สุด SANA-WM ที่ 7.59 และ LingBot-World ที่ 10.47 ส่วน translation error 0.918 เทียบกับ 1.59 — ดีขึ้นกว่าครึ่ง

อีกตัวเลขที่สำคัญคือ ∆IQ ซึ่งวัดว่าคุณภาพภาพทรุดลงแค่ไหนระหว่างวินาทีที่ 0–10 กับ 50–60 ของ rollout: EchoWM ได้ 0.02 แปลว่าแทบไม่ทรุดเลย ขณะที่ HY-WorldPlay ได้ 23.59 — ปัญหาที่ทำให้ world model จำนวนมาก “ดูดีสิบวินาทีแรก” แล้วละลายหลังจากนั้น

ข้อที่ต้องพูดตรง ๆ: บน hard-trajectory split ที่ trajectory ซับซ้อนกว่า EchoWM ยังนำด้าน VBench (81.72) และ translation error แต่ rotation error 12.05 แพ้ SANA-WM ที่ 10.02 เปเปอร์ไม่ได้ปกปิดตรงนี้ และมันบอกว่าความได้เปรียบเรื่องการคุมกล้องยังไม่ทั่วทุกสภาพ

ฝั่งผลทดสอบกับคนจริง ทีมทำ user study 200 เคส (เกม 100, หุ่นยนต์ฮิวแมนนอยด์ 50 และอื่น ๆ) — ในมิติ overall preference EchoWM ชนะ LingBot-World-v2 ที่ 46.50% ต่อ 21.57% และชนะ HappyOyster ที่ 63.13% ต่อ 27.06%

เรื่องน้ำหนักโมเดล: “Open” ในชื่อเปเปอร์ยังไม่เท่ากับดาวน์โหลดได้วันนี้

ตรงนี้ต้องแยกให้ชัด เพราะชื่อเปเปอร์ขึ้นต้นด้วยคำว่า Open

• โค้ดของ EchoWM ยังไม่ปล่อย repo jd-opensource/JoyAI-Echo (ราว 1,900 ดาว) ระบุใน README ว่า JoyAI-Echo 1.5 มาแล้วและ “Code will be released soon” — ณ เวลาที่เขียน ยังไม่มีน้ำหนักของ EchoWM หรือ EchoWM-Flash บน Hugging Face
• สิ่งที่โหลดได้จริงแล้ววันนี้คือรุ่นก่อนหน้า — jdopensource/JoyAI-Echo (JoyAI-Echo-release.safetensors) ซึ่งเป็นโมเดล long-video แบบ multi-shot พร้อม audio ไม่ใช่ตัว world model
• ที่สำคัญกว่าคือสัญญาอนุญาต — น้ำหนักชุดที่ปล่อยอยู่ใต้ LTX-2 Community License Agreement ของ Lightricks และหน้าโมเดลเขียนไว้ชัดว่า “For academic research and non-commercial use only” นี่คือ open แบบงานวิจัย ไม่ใช่ Apache-2.0 ที่เอาไปทำสินค้าได้

สาเหตุที่เป็นแบบนั้นคือทั้งตระกูล Echo สร้างบน LTX core ของ Lightricks (เห็นได้จากโครงสร้าง repo ที่มี ltx-core, ltx-pipelines, ltx-distillation และใช้ Gemma-3-12B เป็น text encoder พร้อมการกลั่นแบบ DMD) — ซึ่งเป็นสายเดียวกับ LTX-2.5 ที่เราเคยเขียนถึงเมื่อ 12 ส.ค.

สำหรับคนอยากลองของที่มีอยู่จริงตอนนี้: มี node package ComfyUI_JoyAI_Echo ที่รันตาม pipeline ทางการด้วย bf16 เต็มความละเอียด (ไม่ผ่าน GGUF quantization) พร้อม GPU memory hot-swap สามเฟส — ต้องการ VRAM ราว 48GB ซึ่งแปลว่านี่ยังเป็นงานระดับ RTX 6000 Ada / A6000 ขึ้นไป ไม่ใช่การ์ดเกมทั่วไป และรุ่นปัจจุบันรองรับเฉพาะ text-to-video เท่านั้น — image-to-video ยังไม่รองรับ

มุมมอง AI Curator

สิ่งที่ทำให้ EchoWM น่าสนใจกว่าตัวเลขในตาราง คือมันชี้ว่าการแข่งขัน world model กำลังย้ายเส้นชัย

ปีที่แล้วทุกคนวัดกันที่ความสวยของเฟรม ปีนี้เส้นแบ่งจริงคือ ความสอดคล้องเมื่อเวลาผ่านไป ตัวเลข ∆IQ 0.02 เทียบ 23.59 ไม่ใช่เรื่องความละเอียดของภาพ แต่คือคำถามว่า “โลกนี้ยังเป็นโลกเดิมอยู่ไหมหลังผ่านไปหนึ่งนาที” ซึ่งเป็นเงื่อนไขขั้นต่ำถ้าจะเอาไปทำอะไรที่มากกว่าคลิปเดโม และการที่ Kling 3.0 กับ Cosmos3-Super ทำคะแนนภาพสูงแต่ Interaction ต่ำกว่า 70 ก็ยืนยันว่า “โมเดลวิดีโอเก่ง ≠ world model เก่ง” — เป็นคนละงานกัน

ประเด็นที่สองคือเรื่องเสียง ซึ่งวงการมองข้ามมานาน การรวม environmental sound + ดนตรี + คำพูด เข้าไปในโมเดลเดียวไม่ใช่แค่ความสะดวก — มันคือความ sync ที่ pipeline สองขั้น (สร้างภาพก่อน แล้วยัดเสียงทีหลัง) ทำได้ยากมากในระดับวินาที และถ้าเป้าหมายปลายทางคือสภาพแวดล้อมจำลองสำหรับเทรนหุ่นยนต์หรือเอเจนต์ เสียงคือ observation channel ที่ขาดไม่ได้ ไม่ใช่ของประดับ

สำหรับผู้อ่านไทยและ SEA มีสองข้อที่ควรเก็บไว้ ข้อแรกคือ อย่าเพิ่งวางแผนโปรดักชันบนโมเดลนี้ — น้ำหนัก EchoWM ยังไม่ออก และสิ่งที่ออกมาแล้วติดสัญญาอนุญาตห้ามใช้เชิงพาณิชย์ ประกาศแบบ “เปเปอร์มาก่อน โค้ดตามมาทีหลัง” จากทีมจีนช่วงหลังมีทั้งที่ตามมาจริงและที่เงียบหายไป ควรรอเห็นไฟล์บน Hugging Face ก่อน ข้อสองคือถ้าโมเดลชุดนี้ปล่อยจริงในภายหลัง ความหมายกับสตูดิโอเล็กในภูมิภาคจะไม่ใช่แค่ “สร้างวิดีโอได้” แต่คือการมีสภาพแวดล้อมโต้ตอบได้ที่รันในเครื่องตัวเอง — ซึ่งเป็นของที่ตอนนี้ต้องจ่ายค่า API ให้ Genie 3 หรือเจ้าอื่นเท่านั้น

และข้อสังเกตสุดท้ายที่พูดถึงกันน้อย: ผู้เขียนร่วมของเปเปอร์นี้มี Lvmin Zhang จาก Stanford ผู้อยู่เบื้องหลัง ControlNet และ FramePack — งานที่เขาทำมาตลอดคือการเอา “การควบคุมที่แม่นยำ” ใส่เข้าไปในโมเดล generative ที่คุมยาก ซึ่งอ่านแล้วเข้ากับสิ่งที่ EchoWM พยายามทำกับ 6-DoF trajectory พอดี

แหล่งข่าว

• EchoWM: Open and Enterable Omnimodal World Models (arXiv 2608.23189)
• หน้าโปรเจกต์ EchoWM — Echo Team, Joy Future Academy (JD)
• GitHub: jd-opensource/JoyAI-Echo
• Hugging Face: jdopensource/JoyAI-Echo (น้ำหนักรุ่น long-video ภายใต้ LTX-2 Community License)