Ai2 发布技术报告，优化 Olmo-core 以支持 MoE 训练
Ai2 发布了题为 Supercharging Olmo-core for Efficient and Scalable MoE Training 的技术报告，介绍了使用 Olmo-core 进行高效且可扩展 MoE 模型训练的方法。
相关AI快讯
Ai2 发布第一阶段字节级模型检查点，保留原始基础权重
Ai2 发布了字节级语言模型的第一阶段检查点。该检查点在保留原始模型权重不变的同时提供预训练字节组件，使研究人员无需重新运行初始阶段即可测试新架构并训练系统。
Ai2 字节级语言模型论文获 Nature 接收，并发布 Qwen 与 Llama 检查点
Ai2 宣布其关于改造语言模型以使其在字节级别运行的论文已被 Nature 接收，同时发布了将 Bolmo 方法扩展至 Qwen 和 Llama 的新检查点。
Google Cloud 在 Cloud TPU 上复现 Ai2 的 Olmo 3 7B 训练结果
Ai2 表示，Google Cloud 在 Cloud TPU 上重新运行了 Olmo 3 的 7B 预训练和中期训练，并在留出评估中与原训练结果一致。
Ai2 称 Marin 最新 hero run 包含约 1.8 万亿个 Dolma 3.5 token
Ai2 称，Marin 最新 hero run 包含其 Dolma 3.5 语料库中约 1.8 万亿个 token，且 Marin 的数据配比工作借鉴了 Ai2 的 Olmix 配方和 Organize the Web 数据整理方法。Will Held 称，Marin 的 535B 训练基于 152 个许可允许用于训练的数据集，共计 25 万亿个 token。
Ai2 与 GlobalFishWatch 宣布人工智能合作，用于海洋监测与执法
在纽约气候周上，Ai2 与 GlobalFishWatch 宣布一项合作，探讨人工智能及 AI 智能体如何用于海洋监测与执法。Ai2 称这项工作是专门打造、开放，并对使用者负责。