Did Codex Reset
GitHub

Ai2 바이트 단위 언어 모델 논문 Nature 게재 승인, Qwen 및 Llama 체크포인트 공개

Ai2

Ai2는 Bolmo의 기반 기술인 언어 모델을 바이트 단위로 작동하도록 개조하는 기술에 관한 논문이 Nature에 게재 승인되었다고 발표했다.

Ai2는 바이트 단위 개조 방식을 Olmo에서 Qwen 및 Llama로 확장한 새로운 모델 체크포인트도 함께 공개했다.

#ai2#bolmo#nature#언어-모델

Ai2, 기본 가중치 유지한 바이트 레벨 모델 1단계 체크포인트 공개

Ai2가 바이트 레벨 언어 모델의 1단계 체크포인트를 공개했다. 기존 모델 가중치는 그대로 유지하면서 사전 학습된 바이트 구성 요소를 제공해, 연구진이 초기 단계를 다시 실행하지 않고도 새 아키텍처를 실험하고 시스템을 훈련할 수 있도록 했다.

Ai2, Marin 최신 hero run에 Dolma 3.5 토큰 약 1.8조 개 포함됐다고 밝혀

Ai2는 Marin의 최신 hero run에 자사 Dolma 3.5 코퍼스의 토큰 약 1.8조 개가 포함되며, Marin의 데이터 혼합 작업은 Ai2의 Olmix 레시피와 Organize the Web 큐레이션 방법론을 활용한다고 밝혔다. Will Held는 Marin의 535B run이 학습을 허용하는 라이선스의 데이터셋 152개에서 나온 토큰 25조 개로 구축됐다고 말했다.