# Pedro Cuenca：tokenizers v1（Rust）快 3 到 30 倍，即将登陆 transformers

Pedro Cuenca 表示 tokenizers v1（Rust）快 3 到 30 倍，具备可选退出的 tokenization 训练 crate、额外优化以及详尽的基准测试。他表示即将登陆 transformers。

Language: zh-CN
Time zone: Asia/Shanghai
Current time (UTC, cached as of): 2026-11-10T06:09:00.000Z
Query date (Asia/Shanghai): 2026-11-10

HTML: https://didcodexreset.com/zh/news/5b7d54cac1d44e81ad0bb534.html

Content language: zh-CN
Localization state: translated

来源：Pedro Cuenca · 发布于 2026/9/22 00:23:42

Pedro Cuenca（@pcuenq）表示 **tokenizers v1（Rust）** 快 **3 到 30 倍**，具备 **可选退出的 tokenization 训练 crate**、额外算法与优化，以及详尽的基准测试。

他表示即将 **登陆 transformers**，并链接了一篇 Hugging Face 博客文章：[https://huggingface.co/blog/tokenizers-v1](https://huggingface.co/blog/tokenizers-v1)。

Tags: tokenizers, transformers, Hugging Face, Rust

[查看主帖原文](https://x.com/pcuenq/status/2102039519566729378)