KRAFTON ปล่อย Raon-1 mini preview โมเดล MoE 28.8B (active 4.3B) เทรนเองตั้งแต่ศูนย์ ใช้ Apache-2.0 มีภาษาไทยในชุดเทรน — KV cache แค่ 7 จาก 25 ชั้น รันบน RTX 5090 ตัวเดียวได้ แต่ vLLM/llama.cpp ยังต้องใช้ fork

KRAFTON AI แล็บ AI ของบริษัทเกมเกาหลีเจ้าของ PUBG อัปโหลด Raon-1 mini preview ขึ้น Hugging Face เมื่อ 21 ต.ค. 2026 เป็นโมเดลภาษา Mixture-of-Experts ขนาด 28.8B พารามิเตอร์ ใช้งานจริง 4.3B ต่อโทเคน ที่ model card ระบุว่า “trained from scratch” ไม่ได้ fine-tune ต่อจาก Qwen หรือ Llama ปล่อยภายใต้ Apache-2.0 พร้อมไฟล์ NVFP4, MXFP8, GGUF, MLX และ draft model สำหรับ speculative decoding ทั้งหมดในวันเดียว ข่าวนี้เขียนช้ากว่าวันอัปโหลด 4 วัน เราหยิบมาเขียนเพราะตอนนี้โมเดลขึ้นหน้า trending ของ Hugging Face และเป็นหนึ่งในโมเดลเปิดไม่กี่ตัวที่ระบุชัดว่ามีภาษาไทยอยู่ในชุดเทรน

ที่น่าสนใจสำหรับนักพัฒนาคือสถาปัตยกรรม ใน 25 ชั้น มีแค่ 7 ชั้นที่เก็บ KV cache ที่เหลือเป็น linear attention ที่มี state ขนาดคงที่ บริบทยาวจึงกินหน่วยความจำน้อยกว่า transformer ปกติมาก ทาง KRAFTON ทำ config สำหรับ RTX 5090 ตัวเดียว (32GB) และ DGX Spark มาให้ด้วย

สถาปัตยกรรม: linear attention 18 ชั้น + MLA 7 ชั้น

ตัวเลขใน config.json ตรงกับ model card ดังนี้

• 25 ชั้น: 18 ชั้นเป็น Raon Delta Attention (RDA) และ 7 ชั้น (ชั้นที่ 4, 8, 12, 16, 20, 24, 25) เป็น Gated MLA แบบเดียวกับตระกูล DeepSeek
• RDA พัฒนาต่อจาก Kimi Delta Attention โดยแยก gate สำหรับ “ลบ” กับ “เขียน” ออกจากกัน KRAFTON บอกว่าช่วยงานบริบทยาว
• Raon-mHC: ทำ manifold-constrained hyper-connections ของ DeepSeek ให้คำนวณถูกลง ใช้ residual 4 stream
• ไม่มี positional encoding เลย (NoPE) บริบทเนทีฟ 262,144 โทเคน
• MoE 128 experts เลือกใช้ 6 ตัว + shared expert 1 ตัวต่อโทเคน
• KV cache อยู่แค่ในชั้น MLA ราว 8 KiB ต่อโทเคน (BF16) คิดคร่าว ๆ บริบท 128K ใช้ KV แค่ประมาณ 1GB
• คำศัพท์ 259,840 โทเคน ฝึกด้วยภาษาเกาหลี อังกฤษ ญี่ปุ่น จีน สเปน ฝรั่งเศส และไทย

น้ำหนักหลักในรีโปเก็บเป็น MXFP8 (ประมาณ 32.7GB) ไม่ใช่ BF16 ส่วนชั้น attention, router และ shared expert ยังเป็นความแม่นยำสูงตามที่ระบุไว้ใน quantization_config

Benchmark: ชนะบางด้าน แพ้ชัดบางด้าน

KRAFTON เทียบกับ MoE ขนาดใกล้กันอย่าง Qwen3.6-35B-A3B และ Gemma 4 26B-A4B (ตัวเลขทั้งหมดวัดเอง ใช้ gpt-5.6-luna เป็น judge)

Benchmark	Raon-1 mini	Qwen3.6-35B-A3B	Gemma 4 26B-A4B
IFBench	84.2	66.6	80.9
SWE-bench Verified (mini-SWE-agent)	70.8	63.2	61.6
BrowseComp Plus	55.7	34.8	32.2
GPQA Diamond	84.3	83.2	80.7
MMLU Pro	76.5	85.9	82.9
Terminal-Bench Lite	47.0	63.3	52.0
BFCL v4	59.8	64.7	65.8

ภาพรวมคือ Raon เด่นด้านทำตามคำสั่ง ค้นข้อมูล และแก้บั๊กแบบ SWE-bench แต่ความรู้ทั่วไป (MMLU Pro ต่ำกว่า Qwen เกือบ 10 แต้ม) และงานบน terminal ยังตามหลัง Benchmark ภาษาเกาหลีที่โชว์ (92.9) เป็นชุดทดสอบภายในที่ไม่เปิดเผย และไม่มีตัวเลขภาษาไทยเลย แม้ไทยจะอยู่ในรายชื่อภาษาที่ใช้เทรน

รันเองได้แค่ไหน

• NVFP4 (Raon-1-mini-preview-nvfp4 ราว 17.6GB): KRAFTON ให้ config สำหรับ RTX 5090 ตัวเดียว ที่บริบท 32K และ DGX Spark (GB10) ที่บริบท 128K ผ่าน container ARM64
• GGUF: Q4_K_M 19.7GB, IQ4_XS 16.1GB ไปจนถึง Q8_0 30.7GB
• MLX สำหรับ Apple silicon ราว 17.6GB
• DFlash2 draft model สำหรับ speculative decoding บน B300 เร่ง throughput ได้สูงสุด 2.18 เท่า (GSM8K ที่ concurrency 1)

ข้อควรรู้ก่อนลอง

• vLLM และ llama.cpp ต้อง build จาก fork ของ KRAFTON (krafton-ai/vllm, krafton-ai/llama.cpp branch raon-1-mini-preview) upstream ยังไม่รองรับ ส่วน Transformers ต้องใช้ trust_remote_code=True
• รีโปเป็นแบบ gated ต้องกดขอสิทธิ์ก่อน (model card บอกว่าอนุมัติอัตโนมัติ) แล้ว hf auth login
• ออกแบบมาให้ใช้ thinking mode เป็นหลัก ไม่แนะนำให้ปิด สำหรับงานทั่วไปแนะนำ presence_penalty 1.5 ส่วนงานโค้ดและคณิตให้ตั้งเป็น 0
• มี config สำเร็จรูปสำหรับ agent harness อย่าง Hermes Agent, Pi และ OpenCode

ไลเซนส์: Apache-2.0 จริง แต่แยกจาก API

ไฟล์ LICENSE ในรีโปเป็น Apache License 2.0 ฉบับเต็ม model card ยืนยันว่าใช้เชิงพาณิชย์ แก้ไข และแจกจ่ายต่อได้ แต่ระบุไว้ด้วยว่า Apache ไม่ครอบคลุมชุดข้อมูลเทรน และ API กับ playground (RAON Service) ใช้ข้อตกลงแยกต่างหาก ซึ่ง KRAFTON สงวนสิทธิ์เก็บเงินในอนาคต และ playground เปิดให้ใช้ฟรีแค่ช่วงเวลาจำกัด ที่สำคัญคือนี่ยังเป็น preview ทาง KRAFTON เตือนว่าสเปกและผลลัพธ์อาจเปลี่ยนก่อนออกรุ่นจริง

มุมมอง AI Curator

ที่ Raon น่าสนใจไม่ใช่ตัวเลข benchmark แต่เป็นการที่บริษัทเกมเกาหลีเทรน MoE เองตั้งแต่ศูนย์ ออกแบบ attention เอง และปล่อยครบทุก format ภายใต้ Apache-2.0 ตลาดโมเดลเปิดขนาด 30B ตอนนี้มี Qwen กับ Gemma ครองอยู่ การมีผู้เล่นจากนอกจีนและนอก Big Tech สหรัฐเข้ามาจึงช่วยให้ตลาดหลากหลายขึ้น ส่วนสถาปัตยกรรมแบบ linear attention ผสม MLA ที่มี KV cache แค่ 7 ชั้น ก็ตอบโจทย์งาน agent ที่บริบทยาว ๆ บนการ์ดจอเครื่องเดียวได้ตรงจุด

สำหรับนักพัฒนาไทย ข่าวนี้มีทั้งข่าวดีและข้อควรระวัง ข่าวดีคือมีภาษาไทยในชุดเทรน และ tokenizer มีคำศัพท์เกือบ 260K ซึ่งมักแปลว่าตัดคำภาษาที่ไม่ใช่อังกฤษได้ดีกว่า แต่ KRAFTON ไม่ได้ให้ตัวเลขภาษาไทยมาเลยสักตัว และตัวเลขทั้งหมดเป็นการวัดเองโดยใช้โมเดลอื่นเป็น judge ใครอยากใช้กับงานภาษาไทยควรเทียบกับ Typhoon หรือ Qwen3.8-27B บนข้อมูลจริงของตัวเองก่อน อย่าดูแค่ตารางของผู้ผลิต

ในทางปฏิบัติ เราแนะนำให้รอสักพัก ตอนนี้ต้อง build vLLM/llama.cpp จาก fork และยังเป็นรุ่น preview ถ้าทีมไหนตั้ง production บน fork ไปแล้ว พอโค้ดถูก merge เข้า upstream จริงอาจต้องย้ายระบบอีกรอบ จังหวะที่เหมาะคือรอให้ llama.cpp และ vLLM ตัวหลักรองรับ หรือรอรุ่น final ที่ KRAFTON บอกว่าตัวเลขอาจเปลี่ยน ระหว่างนี้ถ้ามีการ์ด 32GB อยู่แล้ว ลองไฟล์ NVFP4 หรือ GGUF เทียบกับโมเดลที่ใช้อยู่ก็ไม่เสียหายอะไร

แหล่งข่าว

• Hugging Face — KRAFTON/Raon-1-mini-preview (model card, สถาปัตยกรรม, benchmark, quickstart)
• Hugging Face — Raon-1-mini-preview config.json
• Hugging Face — Raon-1-mini-preview-nvfp4 (checkpoint สำหรับ RTX 5090 / DGX Spark)
• Hugging Face — Raon-1-mini-preview-gguf