แท็ก

#linear-attention

3 บทความ

Z.ai ปล่อย GLM-5.3-Flash เป็น open weights ใต้ MIT — MoE 320B ที่ใช้จริงแค่ 18B, multimodal ในตัว, บริบท 1M และทำ GDPVal-AA v2 นำทุกเจ้าในตาราง
โมเดลใหม่

Z.ai ปล่อย GLM-5.3-Flash เป็น open weights ใต้ MIT — MoE 320B ที่ใช้จริงแค่ 18B, multimodal ในตัว, บริบท 1M และทำ GDPVal-AA v2 นำทุกเจ้าในตาราง

26 ส.ค. 2026 Z.ai ปล่อย GLM-5.3-Flash พร้อมน้ำหนักเต็มบน Hugging Face ใต้ MIT — MoE 320B ที่กระตุ้นแค่ 18B ต่อโทเคน, เป็นตัวแรกในตระกูล GLM-5 ที่ multimodal โดยกำเนิด, ใช้สถาปัตยกรรมผสม linear + sparse attention รองรับบริบท 1 ล้านโทเคน และทำ GDPVal-AA v2 ได้ 1773 นำทั้ง Claude Opus 4.8, GPT-5.6 Terra และ Gemini 3.7 Flash ในตารางของ Z.ai เอง

· อ่าน 8 นาที
Qwen3.8-Flash-Next เปิดน้ำหนัก — 125B ที่กระตุ้นแค่ 6B บวก "พจนานุกรมวลี" 51B ที่ย้ายไปนั่งบน RAM ได้ เทรนถูกกว่ารุ่นพี่ 9 เท่า และเป็นตัวอย่างสถาปัตยกรรมของ Qwen4
โมเดลใหม่

Qwen3.8-Flash-Next เปิดน้ำหนัก — 125B ที่กระตุ้นแค่ 6B บวก "พจนานุกรมวลี" 51B ที่ย้ายไปนั่งบน RAM ได้ เทรนถูกกว่ารุ่นพี่ 9 เท่า และเป็นตัวอย่างสถาปัตยกรรมของ Qwen4

26 ส.ค. 2026 Qwen ปล่อย Qwen3.8-Flash-Next พร้อมน้ำหนักบน Hugging Face — MoE 125B ที่กระตุ้นแค่ 6B ต่อโทเคน บวกชั้น n-gram embedding 51B ที่ย้ายไปเก็บบน RAM ระบบได้ ใช้ Gated DeltaNet คู่กับ Qwen Sparse Attention ระดับ micro-block เทรนถูกกว่า Qwen3.7-Plus ราว 9 เท่า และ Qwen ประกาศตรง ๆ ว่านี่คือ preview ของสถาปัตยกรรมที่จะเป็น Qwen4

· อ่าน 8 นาที
Ling-3.0-flash ของ Ant Group ขึ้น Hugging Face แล้ว — MoE 124B ที่ปลุกใช้จริงแค่ 5.1B ต่อโทเคน สัญญาอนุญาต MIT คอนเท็กซ์ 256K และเพิ่งปล่อยตัวเลข benchmark ออกมาเมื่อวาน
โมเดลใหม่

Ling-3.0-flash ของ Ant Group ขึ้น Hugging Face แล้ว — MoE 124B ที่ปลุกใช้จริงแค่ 5.1B ต่อโทเคน สัญญาอนุญาต MIT คอนเท็กซ์ 256K และเพิ่งปล่อยตัวเลข benchmark ออกมาเมื่อวาน

Ant Group ปล่อยน้ำหนักโมเดล Ling-3.0-flash บน Hugging Face ภายใต้สัญญาอนุญาต MIT — MoE ขนาด 124B ที่ปลุกใช้เพียง 5.1B พารามิเตอร์ต่อโทเคน (~8%) ใช้สถาปัตยกรรม hybrid linear attention สลับ KDA กับ Gated MLA อัตราส่วน 5:1 รองรับ 256K โทเคน และเพิ่งเพิ่มตารางผลทดสอบลงในโมเดลการ์ดเมื่อวานนี้

· อ่าน 6 นาที