เครื่องมือนักพัฒนา
Hugging Face ปล่อย tokenizers v1 RC — encode เร็วกว่า v0.23 ราว 3–30 เท่าบนเธรดเดียว token ID ตรงกันทุกตัว แต่ตัวเลขทั้งหมดวัดจาก Rust ไม่ใช่ Python
21 ก.ย. Hugging Face ปล่อย tokenizers 1.0.0-rc.2 ขึ้น crates.io และ PyPI พร้อมบทความอธิบายว่า v1 encode เร็วกว่า v0.23 ราว 3–30 เท่าบนเธรดเดียว (M4 Max) และ scale ได้ 76% ของเส้นตรงบน 8 เธรด โดยได้ token ID เดิมทุกตัว เพราะเปลี่ยน regex เป็น SIMD bitstream เพิ่ม word cache และเขียน merge loop ใหม่ให้ไม่ต้อง allocate แต่ benchmark ทั้งหมดวัดบน Rust crate ส่วน Python binding ยังมี overhead ที่ไม่ได้นับรวม
· อ่าน 5 นาที