上海人工智能实验室与上海交通大学LUMIA实验室发布89亿参数开源权重模型NCP-ArchPreview

上海人工智能实验室与上海交通大学LUMIA实验室已发布NCP-ArchPreview，这是一款采用Apache 2.0许可的89亿参数开源权重语言模型。权重位于NCP-ArchPreview合集，同时提供论文。

实验室报告，该模型在5.73万亿个Dolma 3 token上训练，并以51.3%的token达到OLMo-3-7B的最终Stage 1损失，收敛提升1.95倍。他们还报告，其Stage 1宏平均分从46.59升至49.04，GSM8K提高5.99，HumanEval提高4.28。

NCP同时预测token和长度为其四分之一的概念序列，再将这些概念反馈回去以引导生成。领域适配只更新1700万参数的概念模块，token主干保持冻结。实验室报告，概念条件草稿使平均接受长度提高4.17%，开销可忽略。