# Pedro Cuenca：tokenizers v1 (Rust) 快 3 至 30 倍，即將登陸 transformers

Pedro Cuenca 表示 tokenizers v1 (Rust) 快 3 至 30 倍，設有可選擇退出的 tokenization 訓練 crate、額外優化，以及廣泛基準測試。他表示即將登陸 transformers。

Language: zh-HK
Time zone: Asia/Hong_Kong
Current time (UTC, cached as of): 2026-11-10T07:42:00.000Z
Query date (Asia/Hong_Kong): 2026-11-10

HTML: https://didcodexreset.com/zh-hk/news/5b7d54cac1d44e81ad0bb534.html

Content language: zh-HK
Localization state: translated

來源：Pedro Cuenca · 發布於 22/9/2026 00:23:42

Pedro Cuenca（@pcuenq）表示 **tokenizers v1 (Rust)** **快 3 至 30 倍**，設有 **可選擇退出的 tokenization 訓練 crate**、額外演算法及優化，以及廣泛基準測試。

他表示 **即將登陸 transformers**，並附上 Hugging Face 網誌文章：[https://huggingface.co/blog/tokenizers-v1](https://huggingface.co/blog/tokenizers-v1)。

Tags: tokenizers, transformers, Hugging Face, Rust

[查看主帖原文](https://x.com/pcuenq/status/2102039519566729378)