Georgi Gerganov 表示 transformers 可直接运行 GGUF 模型 GGeorgi Gerganov2天15小时46分钟前 Georgi Gerganov 表示,GGUF 模型可直接用 transformers 运行。他说,这项工作将 ggml 的 Metal 内核引入 transformers 生态,从而提升兼容性与性能。 #gguf#transformers#ggml#metal
Pedro Cuenca:tokenizers v1(Rust)快 3 到 30 倍,即将登陆 transformersPedro Cuenca 表示 tokenizers v1(Rust)快 3 到 30 倍,具备可选退出的 tokenization 训练 crate、额外优化以及详尽的基准测试。他表示即将登陆 transformers。