ข้ามไปยังเนื้อหา

แท็ก

#sparse-attention

4 บทความ

GLM-5.3 ตัวเต็มปล่อยน้ำหนักแล้ว — MoE 753B บน Hugging Face 755GB ในรูปแบบ FP8 แต่ใบอนุญาตไม่ใช่ MIT เหมือน Flash
โมเดลใหม่

GLM-5.3 ตัวเต็มปล่อยน้ำหนักแล้ว — MoE 753B บน Hugging Face 755GB ในรูปแบบ FP8 แต่ใบอนุญาตไม่ใช่ MIT เหมือน Flash

28 ส.ค. 2026 เวลา 15:22 UTC รีโป zai-org/GLM-5.3 บน Hugging Face เปิดสาธารณะ — โมเดลตัวเต็มที่ทำ Terminal-Bench 3.0 28.3 และ CyberGym 84.5 เมื่อกลางเดือนกลายเป็น open weights จริงแล้ว น้ำหนัก FP8 141 ชาร์ด รวม 755.7 GB (BF16 อีกรีโปหนึ่ง 1,506.7 GB) แต่ไฟล์ LICENSE ไม่ใช่ MIT แบบ GLM-5.3-Flash — เป็นใบอนุญาตเฉพาะที่มีเงื่อนไข Model-as-a-Service ผูกไว้

· อ่าน 8 นาที
Tencent ปล่อย Hy4 preview ใต้ Apache-2.0 — MoE 770B ที่กระตุ้น 49B และเป็นโมเดลระดับเรือธงตัวใหญ่ที่สุดที่ใบอนุญาตไม่มีเงื่อนไขแนบ
โมเดลใหม่

Tencent ปล่อย Hy4 preview ใต้ Apache-2.0 — MoE 770B ที่กระตุ้น 49B และเป็นโมเดลระดับเรือธงตัวใหญ่ที่สุดที่ใบอนุญาตไม่มีเงื่อนไขแนบ

27 ส.ค. 2026 ทีม Hy ของ Tencent อัปโหลด Hy4 preview ขึ้น Hugging Face — MoE 770B ที่กระตุ้น 49B ต่อโทเคน บริบท 1M ใช้ Gated DSA + IndexCache น้ำหนัก BF16 1,560 GB / FP8 813.8 GB ใต้ Apache-2.0 แท้ ๆ ตารางเบนช์ของ Tencent เองบอกว่ามันนำทุกเจ้ารวมถึง Claude Opus 5 บน SWE Atlas Codebase Q&A แต่รั้งท้ายบน Terminal-Bench 2.1 และตามหลัง GLM-5.3 บน GDPval

· อ่าน 9 นาที
Z.ai ปล่อย GLM-5.3-Flash เป็น open weights ใต้ MIT — MoE 320B ที่ใช้จริงแค่ 18B, multimodal ในตัว, บริบท 1M และทำ GDPVal-AA v2 นำทุกเจ้าในตาราง
โมเดลใหม่

Z.ai ปล่อย GLM-5.3-Flash เป็น open weights ใต้ MIT — MoE 320B ที่ใช้จริงแค่ 18B, multimodal ในตัว, บริบท 1M และทำ GDPVal-AA v2 นำทุกเจ้าในตาราง

26 ส.ค. 2026 Z.ai ปล่อย GLM-5.3-Flash พร้อมน้ำหนักเต็มบน Hugging Face ใต้ MIT — MoE 320B ที่กระตุ้นแค่ 18B ต่อโทเคน, เป็นตัวแรกในตระกูล GLM-5 ที่ multimodal โดยกำเนิด, ใช้สถาปัตยกรรมผสม linear + sparse attention รองรับบริบท 1 ล้านโทเคน และทำ GDPVal-AA v2 ได้ 1773 นำทั้ง Claude Opus 4.8, GPT-5.6 Terra และ Gemini 3.7 Flash ในตารางของ Z.ai เอง

· อ่าน 8 นาที
Qwen3.8-Flash-Next เปิดน้ำหนัก — 125B ที่กระตุ้นแค่ 6B บวก "พจนานุกรมวลี" 51B ที่ย้ายไปนั่งบน RAM ได้ เทรนถูกกว่ารุ่นพี่ 9 เท่า และเป็นตัวอย่างสถาปัตยกรรมของ Qwen4
โมเดลใหม่

Qwen3.8-Flash-Next เปิดน้ำหนัก — 125B ที่กระตุ้นแค่ 6B บวก "พจนานุกรมวลี" 51B ที่ย้ายไปนั่งบน RAM ได้ เทรนถูกกว่ารุ่นพี่ 9 เท่า และเป็นตัวอย่างสถาปัตยกรรมของ Qwen4

26 ส.ค. 2026 Qwen ปล่อย Qwen3.8-Flash-Next พร้อมน้ำหนักบน Hugging Face — MoE 125B ที่กระตุ้นแค่ 6B ต่อโทเคน บวกชั้น n-gram embedding 51B ที่ย้ายไปเก็บบน RAM ระบบได้ ใช้ Gated DeltaNet คู่กับ Qwen Sparse Attention ระดับ micro-block เทรนถูกกว่า Qwen3.7-Plus ราว 9 เท่า และ Qwen ประกาศตรง ๆ ว่านี่คือ preview ของสถาปัตยกรรมที่จะเป็น Qwen4

· อ่าน 8 นาที