Ai2、MoE学習に向けOlmo-coreを強化する技術レポートを公開
Ai2は、Olmo-coreを用いた効率的かつスケーラブルなMoEモデル学習の手法を提示する技術レポート Supercharging Olmo-core for Efficient and Scalable MoE Training を公開した。
関連AIニュース
Ai2、基本重みを維持したバイトレベルモデルのステージ1チェックポイントを公開
Ai2はバイトレベル言語モデルのステージ1チェックポイントを公開した。元のモデルの重みを維持したまま事前学習済みのバイトコンポーネントを提供し、研究者は初期段階を再実行することなく新アーキテクチャの実験やシステム全体の訓練を行える。
Ai2のバイト単位言語モデル論文がNatureに採択、QwenおよびLlamaのチェックポイントを公開
Ai2は、言語モデルをバイト単位で動作するように改変する手法に関する論文がNatureに採択されたと発表し、Bolmoの手法をQwenとLlamaに拡張した新たなチェックポイントを公開した。
Google Cloud、Cloud TPUでAi2のOlmo 3 7Bの実行結果に一致
Ai2によると、Google CloudはOlmo 3の7B事前学習と中間学習をCloud TPU上で再実行し、ホールドアウト評価で当初の実行結果と一致した。
Ai2は、Marinの最新hero runにDolma 3.5のトークン約1.8兆個が含まれるとしている
Ai2は、Marinの最新hero runに自社のDolma 3.5コーパスから約1.8兆トークンが含まれるとし、Marinのデータ混合の取り組みはAi2のOlmixレシピとOrganize the Webのデータキュレーション手法を踏まえているとしている。Will Heldは、Marinの535Bランが、学習を許可するライセンスの152データセットから得た25兆トークンで構築されたとしている。
Ai2とGlobalFishWatch、海洋監視と取締り向けのAI連携を発表
Climate Week NYCで、Ai2とGlobalFishWatchは、海洋監視と取締りにおけるAIおよびAIエージェントの活用をめぐる連携を発表した。Ai2は、この取り組みを用途に合わせて構築され、オープンで、利用者に対して説明責任を果たすものだと説明している。