Did Codex Reset
GitHub

Ai2, MoE 훈련을 위한 Olmo-core 강화 기술 보고서 발표

Stas Bekman

Ai2는 Olmo-core를 활용해 효율적이고 확장 가능한 MoE 모델을 훈련하는 방법을 제시한 기술 보고서 Supercharging Olmo-core for Efficient and Scalable MoE Training을 발표했다.

#ai2#olmo-core#moe

Ai2, 기본 가중치 유지한 바이트 레벨 모델 1단계 체크포인트 공개

Ai2가 바이트 레벨 언어 모델의 1단계 체크포인트를 공개했다. 기존 모델 가중치는 그대로 유지하면서 사전 학습된 바이트 구성 요소를 제공해, 연구진이 초기 단계를 다시 실행하지 않고도 새 아키텍처를 실험하고 시스템을 훈련할 수 있도록 했다.

Ai2, Marin 최신 hero run에 Dolma 3.5 토큰 약 1.8조 개 포함됐다고 밝혀

Ai2는 Marin의 최신 hero run에 자사 Dolma 3.5 코퍼스의 토큰 약 1.8조 개가 포함되며, Marin의 데이터 혼합 작업은 Ai2의 Olmix 레시피와 Organize the Web 큐레이션 방법론을 활용한다고 밝혔다. Will Held는 Marin의 535B run이 학습을 허용하는 라이선스의 데이터셋 152개에서 나온 토큰 25조 개로 구축됐다고 말했다.