Pedro Cuenca：tokenizers v1（Rust）は3〜30倍高速、まもなくtransformersに登場
Pedro Cuenca氏は、tokenizers v1（Rust）が3〜30倍高速であり、オプトアウト可能なトークン化トレーニングcrate、追加の最適化、広範なベンチマークがあると述べた。同氏は、まもなくtransformersに登場すると述べた。
#tokenizers
すべてのAIニュースを見るTokenizers v1 first release candidate is out, claiming up to 30x faster tokenization
Lysandre (@LysandreJik) said Tokenizers v1’s first release candidate is out, citing up to 30x faster tokenization, thread scaling, lower latency, lower memory use, and a very small crate size. He linked details at https://huggingface.co/blog/tokenizers-v1.