上海人工智能實驗室與上海交通大學 LUMIA Lab 發布 89 億參數開放權重模型 NCP-ArchPreview

上海人工智能實驗室與上海交通大學 LUMIA Lab 已發布 NCP-ArchPreview，這是一款以 Apache 2.0 授權的 89 億參數開放權重語言模型。權重見於 NCP-ArchPreview 合集，並提供 論文。

實驗室報告，該模型在 5.73 萬億個 Dolma 3 token 上訓練，並以 51.3% 的 token 用量達到 OLMo-3-7B 的最終 Stage 1 損失，收斂增益為 1.95 倍。他們報告，其 Stage 1 宏觀平均分由 46.59 升至 49.04，GSM8K 提升 5.99，HumanEval 提升 4.28。

NCP 同時預測 token 與長度僅為其四分之一的概念序列，再把這些概念回饋以引導生成。領域適配只更新 1700 萬參數的概念模組，token 主幹保持凍結。實驗室報告，以概念為條件的草稿將平均接受長度提高 4.17%，額外開銷可忽略。