Georgi Gerganov、transformersでGGUFモデルを直接実行できると述べる

Pedro Cuenca：tokenizers v1（Rust）は3〜30倍高速、まもなくtransformersに登場

Pedro Cuenca氏は、tokenizers v1（Rust）が3〜30倍高速であり、オプトアウト可能なトークン化トレーニングcrate、追加の最適化、広範なベンチマークがあると述べた。同氏は、まもなくtransformersに登場すると述べた。