Pedro Cuenca: tokenizers v1 (Rust)가 3~30배 더 빠르며, 곧 transformers에 적용 예정
Pedro Cuenca는 tokenizers v1 (Rust)가 3~30배 더 빠르며, 옵트아웃 토큰화 학습 crate, 추가 최적화, 광범위한 벤치마크가 포함된다고 밝혔다. 곧 transformers에 적용될 예정이라고 전했다.
#tokenizers
모든 AI 뉴스 보기Tokenizers v1 first release candidate is out, claiming up to 30x faster tokenization
Lysandre (@LysandreJik) said Tokenizers v1’s first release candidate is out, citing up to 30x faster tokenization, thread scaling, lower latency, lower memory use, and a very small crate size. He linked details at https://huggingface.co/blog/tokenizers-v1.