llama.cpp เมิร์จ Kimi K3 เข้า main แล้ว — โมเดลเปิดตัวใหญ่ที่สุด 2.8T รันเองได้ แต่ค่าผ่านประตูคือแรม 466 GB

หลังจากค้างอยู่ในสถานะ “ต้องใช้ fork” มาเกือบสามสัปดาห์นับจากวันที่ Moonshot AI ปล่อยน้ำหนัก PR #26185 “model: add Kimi-K3 text model” ถูกเมิร์จเข้า main ของ llama.cpp เมื่อวันที่ 15 สิงหาคม 2026 (คอมมิต ad1de39) และออกเป็นบิลด์ปล่อย b10448 ในคืนเดียวกัน แปลว่าโมเดลเปิดที่ใหญ่ที่สุดที่มีอยู่ตอนนี้ — 2.8 ล้านล้านพารามิเตอร์ — รันบน llama.cpp ตัวมาตรฐานได้แล้ว ไม่ต้องคอมไพล์สาขาของใครอีก

เจ้าของ PR คือ pwilkin โดยมีคนช่วยอีกหลายคน (ngxson, SolshineCode, GrEarl และอื่น ๆ) และงานนี้ไม่ใช่แค่ “เพิ่ม arch ใหม่หนึ่งบรรทัด” — สถาปัตยกรรมของ K3 มีของแปลกอยู่ห้าอย่างที่ llama.cpp ไม่เคยรองรับมาก่อน

ห้าอย่างที่ต้องเขียนใหม่ทั้งหมด

Kimi K3 ไม่ได้เป็น transformer มาตรฐาน สิ่งที่ทีม llama.cpp ต้องอิมพลีเมนต์เพิ่มมีดังนี้

• Hybrid attention — สลับระหว่าง KDA (Kimi Delta Attention, แบบ linear) กับ MLA (แบบ full) ภายในโมเดลเดียว
• Cross-layer residual attention (AttnRes) — ดึง weighted-sum operation ที่เคยทำไว้ตอนรองรับ DeepSeek-V4 มาใช้ซ้ำได้
• Latent MoE — เราต์ผู้เชี่ยวชาญ 896 ตัว ที่มิติที่ลดรูปแล้ว
• Situ activation — ใช้แทน SwiGLU ทั้งโมเดล
• MLA output gate และ full-rank KDA gate — เกตเพิ่มเติมก่อน projection

รายละเอียดที่ตลกร้ายที่สุดคือค่าคงที่ LLAMA_MAX_EXPERTS ที่เดิมตั้งไว้ที่ 512 ต้องถูกดันขึ้นเป็น 1024 เพราะ K3 มีผู้เชี่ยวชาญ 896 ตัว — เพดานที่เคยดูเผื่อไว้เยอะแล้วเมื่อสองปีก่อน วันนี้โมเดลเดียวก็ทะลุ

อีกจุดที่เป็นงานวิศวกรรมจริงคือการแปลงน้ำหนัก น้ำหนักต้นฉบับของ K3 เป็น MXFP4 อยู่แล้ว ถ้าแปลงตรง ๆ ตามทางปกติต้อง dequantize เป็น bf16 ก่อน ซึ่งหมายถึงการเขียนไฟล์ชั่วคราวราว 5.5 TB ทีมจึงเลือกทำ bit-compatible MXFP4 repacking แทน — สลับบล็อกโดยไม่คลายค่า และยืนยันว่าบล็อก MXFP4 dequantize กลับได้ตรงต้นฉบับที่ error 0.0e+00 ส่วนผลรวมทั้งโมเดล PR รายงานว่า logits เทียบกับ fp32 reference ของ Moonshot ต่างกัน 6.7e-05 rel / corr 1.00000000 ทั้งพาธ chunked และ recurrent delta-net

ตัวเลขความเร็วจริง — และมันไม่สวย

นี่คือส่วนที่คนอ่านข่าว “โมเดลเปิดรันเองได้แล้ว” ควรอ่านก่อนสั่งซื้อแรม ตัวเลขจาก PR เอง

เครื่องที่ทดสอบ	generation	prefill
Dual Xeon Gold 6248 + RTX 6000 Ada ×2	~3 tok/s (เหลือ ~2.6 ถ้าปิด hyper-threading)	~55 tok/s (ลงเหลือ ~45 ที่คอนเท็กซ์ 128k)
Dual Xeon Gold 6148 + DDR4-2666 1.5 TB + RTX 4060 Ti 16 GB	~0.7 tok/s	~2.3 tok/s

สามโทเค็นต่อวินาทีบนเครื่องที่มี RTX 6000 Ada สองใบ คือความเร็วระดับ “พิมพ์คำตอบช้ากว่าคนอ่าน” ส่วนเครื่องที่พึ่งแรมซีพียูล้วน 1.5 TB ได้ 0.7 tok/s — ใช้ทำงานจริงแบบโต้ตอบไม่ได้ ใช้ได้กับงาน batch ที่ปล่อยรันข้ามคืนเท่านั้น

ฝั่งขนาดไฟล์ก็ไม่ปรานีกว่ากัน quant ของ Unsloth ที่มีให้โหลดตอนนี้ไล่จาก UD-Q1_0 ที่ 466 GB, UD-TQ1_0 509 GB, UD-IQ1_S 594 GB, UD-TQ2_0 551 GB ไปจนถึง UD-Q4_K_XL ที่ 1.51 TB และ UD-Q8_K_XL ที่ 1.56 TB พูดง่าย ๆ คือค่าผ่านประตูขั้นต่ำสุดคือแรม 466 GB และนั่นคือระดับ 1-bit ที่คุณภาพย่อมถูกเฉือนไปแล้ว

ข้อจำกัดที่ต้องรู้ก่อนลอง

• ไม่มี vision — K3 เป็นโมเดล multimodal โดยกำเนิด แต่สิ่งที่เมิร์จเข้ามาคือ “Kimi-K3 text model” เท่านั้น ส่วนรับภาพยังไม่รองรับ
• Metal และ Vulkan ยังไม่มีเคอร์เนล cross-layer residual ต้อง fallback ไป CPU/CUDA — คนใช้ Mac หรือ AMD ผ่าน Vulkan จะยังไม่ได้พาธที่เร็ว
• ต้องบิลด์ด้วย LLAMA_MAX_EXPERTS ที่ดันเพดานแล้ว (มากับ b10448)
• chat template ของ K3 ต้องแก้ไวยากรณ์ namespace() ให้เข้ากับ Minja จึงจะ parse tool call ได้ถูก

สำหรับคนที่อยากลอง เส้นทางที่สั้นที่สุดตอนนี้คือดึงบิลด์ b10448 ขึ้นไป แล้วโหลด GGUF จาก unsloth/Kimi-K3-GGUF — ไม่ต้องใช้ fork แล้ว ซึ่งเป็นการเปลี่ยนแปลงหลักของข่าวนี้

มุมมอง AI Curator

ข่าวนี้อ่านง่ายที่สุดถ้ามองว่ามันเป็นข่าว สองชั้นที่ขัดกันเอง

ชั้นแรกคือชัยชนะของ ecosystem โมเดลที่ใหญ่ที่สุดในโลกฝั่งเปิด ถูกพอร์ตเข้ารันไทม์ที่ใครก็คอมไพล์ได้ ภายใน 19 วันหลังปล่อยน้ำหนัก โดยอาสาสมัครไม่กี่คน พร้อมการตรวจสอบเชิงตัวเลขระดับ 6.7e-05 เทียบ reference นี่คือมาตรฐานคุณภาพที่โปรเจกต์โอเพนซอร์สทำได้เหนือกว่าที่คนคาด และมันหมายความว่า “ปล่อยน้ำหนัก” กับ “รันได้จริงนอกโครงสร้างพื้นฐานของผู้ผลิต” ห่างกันแค่สองสัปดาห์กว่า ๆ แล้ว ไม่ใช่หลายเดือนเหมือนยุค Llama 1

ชั้นที่สองคือความจริงที่คนชอบข้าม — “open weights” กับ “accessible” ไม่ใช่คำเดียวกัน ตัวเลข 466 GB และ 3 tok/s บอกว่า K3 ในทางปฏิบัติยังเป็นโมเดลของคนที่มีเซิร์ฟเวอร์ ไม่ใช่ของคนที่มีเดสก์ท็อป เสรีภาพที่ได้จากไลเซนส์เปิดจึงถูกจำกัดด้วยเพดานฮาร์ดแวร์อีกชั้นหนึ่ง และเพดานนั้นแพงพอที่จะทำให้คนส่วนใหญ่กลับไปเรียก API อยู่ดี

สำหรับทีมไทยและ SEA นี่คือเหตุผลที่เราย้ำมาตลอดว่าโมเดลที่ควรจับตาไม่ใช่ตัวที่ใหญ่ที่สุด แต่คือตัวที่ลงเครื่องที่คุณมีอยู่แล้วได้ — Qwen3.8-27B ที่ Q4 อยู่ที่ 17 GB ลง GPU ใบเดียวได้ มีค่ากับงานจริงในองค์กรมากกว่า K3 ที่ต้องเช่าเครื่องแรม 1 TB มาก แต่คุณค่าของงานเมิร์จครั้งนี้อยู่ที่การเปิดทางเลือกไว้: วันที่แรมเซิร์ฟเวอร์ถูกลงอีกเท่าตัว หรือวันที่ควอนต์ 1-bit ดีขึ้นจนใช้งานได้จริง โค้ดพร้อมรออยู่แล้ว ไม่ต้องเริ่มพอร์ตใหม่

และมีอีกจุดที่ควรบันทึกไว้ — งานที่ยากที่สุดในการทำให้โมเดลจีนรันบนเครื่องคนทั่วโลกได้ ไม่ได้ทำโดย Moonshot แต่ทำโดยคอมมิวนิตี้ llama.cpp ฟรี ๆ นั่นคือ soft power ที่แล็บจีนได้มาโดยแทบไม่ต้องลงทุนเพิ่ม และเป็นสิ่งที่แล็บอเมริกันที่ยังปล่อยโมเดลด้วยไลเซนส์กำหนดเองไม่ได้รับ

แหล่งข่าว

• llama.cpp PR #26185 — model: add Kimi-K3 text model
• llama.cpp release b10448
• unsloth/Kimi-K3-GGUF บน Hugging Face
• llama.cpp Discussion #26041 — งานเตรียมการรองรับ Kimi K3