# Pedro Cuenca: tokenizers v1 (Rust)가 3~30배 더 빠르며, 곧 transformers에 적용 예정

Pedro Cuenca는 tokenizers v1 (Rust)가 3~30배 더 빠르며, 옵트아웃 토큰화 학습 crate, 추가 최적화, 광범위한 벤치마크가 포함된다고 밝혔다. 곧 transformers에 적용될 예정이라고 전했다.

Language: ko
Time zone: Asia/Seoul
Current time (UTC, cached as of): 2026-11-10T07:01:00.000Z
Query date (Asia/Seoul): 2026-11-10

HTML: https://didcodexreset.com/ko/news/5b7d54cac1d44e81ad0bb534.html

Content language: ko
Localization state: translated

출처: Pedro Cuenca · 2026. 9. 22. 01:23:42 게시

Pedro Cuenca (@pcuenq)는 **tokenizers v1 (Rust)**가 **3~30배 더 빠르며**, **옵트아웃 토큰화 학습 crate**, 추가 알고리즘 및 최적화, 광범위한 벤치마크가 포함된다고 밝혔다.

곧 **transformers에 적용될 예정**이라고 전했으며, Hugging Face 블로그 게시물을 링크했다: [https://huggingface.co/blog/tokenizers-v1](https://huggingface.co/blog/tokenizers-v1).

Tags: tokenizers, transformers, Hugging Face, Rust

[원문 게시물 보기](https://x.com/pcuenq/status/2102039519566729378)