上海AIラボとSJTUのLUMIAラボ、オープンウェイトの89億パラメータモデルNCP-ArchPreviewを公開

上海AIラボとSJTUのLUMIAラボは、Apache 2.0ライセンスのオープンウェイト言語モデルNCP-ArchPreview（89億パラメータ）を公開した。重みはNCP-ArchPreviewコレクションにあり、論文も公開されている。

両ラボによると、このモデルはDolma 3のトークン5.73兆個で学習し、OLMo-3-7BのStage 1最終損失にその51.3%のトークン数で到達し、収束は1.95倍になった。Stage 1のマクロ平均は46.59から49.04に上がり、GSM8Kで5.99、HumanEvalで4.28向上したと報告している。

NCPはトークンと、長さが4分の1の概念系列を同時に予測し、その概念を生成の誘導に戻す。ドメイン適応では1700万パラメータの概念モジュールだけを更新し、トークン側のバックボーンは凍結したままにする。両ラボによると、概念を条件にしたドラフト生成は平均受理長を4.17%延ばし、オーバーヘッドはごくわずかだという。