Pedro Cuenca：tokenizers v1（Rust）快 3 到 30 倍，即将登陆 transformers

Pedro Cuenca（@pcuenq）表示 tokenizers v1（Rust） 快 3 到 30 倍，具备 可选退出的 tokenization 训练 crate、额外算法与优化，以及详尽的基准测试。

他表示即将 登陆 transformers，并链接了一篇 Hugging Face 博客文章：https://huggingface.co/blog/tokenizers-v1。