Ai2, Marin 최신 hero run에 Dolma 3.5 토큰 약 1.8조 개 포함됐다고 밝혀

Ai2는 Marin의 최신 hero run에 Ai2의 Dolma 3.5 코퍼스에서 나온 토큰 약 1.8조 개가 포함된다고 밝혔다. Ai2는 또한 Marin의 데이터 혼합 작업이 자사 Olmix 레시피와 Organize the Web 데이터 큐레이션 방법론을 활용한다고 밝혔다.

Will Held는 Marin의 535B run이 학습을 허용하는 라이선스를 가진 데이터셋 152개에서 나온 토큰 25조 개로 구축됐다고 말했다.