# Pedro Cuenca：tokenizers v1（Rust）は3〜30倍高速、まもなくtransformersに登場

Pedro Cuenca氏は、tokenizers v1（Rust）が3〜30倍高速であり、オプトアウト可能なトークン化トレーニングcrate、追加の最適化、広範なベンチマークがあると述べた。同氏は、まもなくtransformersに登場すると述べた。

Language: ja
Time zone: Asia/Tokyo
Current time (UTC, cached as of): 2026-11-10T07:02:00.000Z
Query date (Asia/Tokyo): 2026-11-10

HTML: https://didcodexreset.com/ja/news/5b7d54cac1d44e81ad0bb534.html

Content language: ja
Localization state: translated

出典：Pedro Cuenca · 2026/9/22 01:23:42 公開

Pedro Cuenca（@pcuenq）氏は、**tokenizers v1（Rust）**が**3〜30倍高速**であり、**オプトアウト可能なトークン化トレーニングcrate**、追加のアルゴリズムと最適化、および広範なベンチマークがあると述べた。

同氏は**まもなくtransformersに登場する**と述べ、Hugging Faceのブログ記事をリンクした：[https://huggingface.co/blog/tokenizers-v1](https://huggingface.co/blog/tokenizers-v1)。

Tags: トークナイザー, transformers, Hugging Face, Rust

[元の投稿を見る](https://x.com/pcuenq/status/2102039519566729378)