Georgi Gerganov, transformers로 GGUF 모델 직접 실행 가능하다고 밝혀
이 작업은 ggml의 Metal 커널을 transformers 생태계에 가져오며, Georgi Gerganov에 따르면 호환성과 성능을 높인다.
#transformers
모든 AI 뉴스 보기Pedro Cuenca: tokenizers v1 (Rust)가 3~30배 더 빠르며, 곧 transformers에 적용 예정
Pedro Cuenca는 tokenizers v1 (Rust)가 3~30배 더 빠르며, 옵트아웃 토큰화 학습 crate, 추가 최적화, 광범위한 벤치마크가 포함된다고 밝혔다. 곧 transformers에 적용될 예정이라고 전했다.