Did Codex Reset
GitHub

Google Cloud, Cloud TPU에서 Ai2의 Olmo 3 7B 실행 결과와 일치

Ai2

Google Cloud는 Ai2의 Olmo 3 7B 사전학습과 중간 학습을 Cloud TPU에서 다시 실행했고, 이 실행 결과는 홀드아웃 평가에서 Ai2의 원래 결과와 일치했다고 Ai2가 밝혔다.

사례 연구는 MaxText에서 Olmo 3 7B 사전학습 재현으로 공개됐다.

#olmo-3#ai2#google-cloud#tpu#재현성

Ai2, Marin 최신 hero run에 Dolma 3.5 토큰 약 1.8조 개 포함됐다고 밝혀

Ai2는 Marin의 최신 hero run에 자사 Dolma 3.5 코퍼스의 토큰 약 1.8조 개가 포함되며, Marin의 데이터 혼합 작업은 Ai2의 Olmix 레시피와 Organize the Web 큐레이션 방법론을 활용한다고 밝혔다. Will Held는 Marin의 535B run이 학습을 허용하는 라이선스의 데이터셋 152개에서 나온 토큰 25조 개로 구축됐다고 말했다.