Marin 535B-A23B 训练进度过半，内核优化推动 MFU 升至 27%
Percy Liang 与 Marin Community 团队在 CoreWeave 上训练的开源模型 Marin 535B-A23B 已过半。内核优化使 MFU 从 21% 提升至 27%，留出损失符合基于四次前期试验作出的预测。
#marin
查看全部AI快讯Ai2 称 Marin 最新 hero run 包含约 1.8 万亿个 Dolma 3.5 token
Ai2 称，Marin 最新 hero run 包含其 Dolma 3.5 语料库中约 1.8 万亿个 token，且 Marin 的数据配比工作借鉴了 Ai2 的 Olmix 配方和 Organize the Web 数据整理方法。Will Held 称，Marin 的 535B 训练基于 152 个许可允许用于训练的数据集，共计 25 万亿个 token。