#transformers

この取り組みはggmlのMetalカーネルをtransformersのエコシステムに取り込むもので、Georgi Gerganovによれば互換性と性能が高まる。

Pedro Cuenca：tokenizers v1（Rust）は3〜30倍高速、まもなくtransformersに登場

Pedro Cuenca氏は、tokenizers v1（Rust）が3〜30倍高速であり、オプトアウト可能なトークン化トレーニングcrate、追加の最適化、広範なベンチマークがあると述べた。同氏は、まもなくtransformersに登場すると述べた。