# 上海AIラボとSJTUのLUMIAラボ、オープンウェイトの89億パラメータモデルNCP-ArchPreviewを公開

NCP-ArchPreviewはApache 2.0で公開された。両ラボによると、Dolma 3のトークン5.73兆個で学習した後、OLMo-3-7BのStage 1最終損失にトークン数の51.3%で到達し、収束は1.95倍になった。

Language: ja
Time zone: Asia/Tokyo
Current time (UTC, cached as of): 2026-11-10T07:02:00.000Z
Query date (Asia/Tokyo): 2026-11-10

HTML: https://didcodexreset.com/ja/news/118b22ddcb5a464590032f42.html

Content language: ja
Localization state: translated

出典：ModelScope · 2026/9/23 14:08:08 公開

上海AIラボとSJTUのLUMIAラボは、Apache 2.0ライセンスのオープンウェイト言語モデルNCP-ArchPreview（89億パラメータ）を公開した。重みは[NCP-ArchPreviewコレクション](https://modelscope.ai/collections/Shanghai_AI_Laboratory/NCP_ArchPreview)にあり、[論文](https://modelscope.ai/papers/2609.10715)も公開されている。

両ラボによると、このモデルはDolma 3のトークン5.73兆個で学習し、OLMo-3-7BのStage 1最終損失にその51.3%のトークン数で到達し、収束は1.95倍になった。Stage 1のマクロ平均は46.59から49.04に上がり、GSM8Kで5.99、HumanEvalで4.28向上したと報告している。

NCPはトークンと、長さが4分の1の概念系列を同時に予測し、その概念を生成の誘導に戻す。ドメイン適応では1700万パラメータの概念モジュールだけを更新し、トークン側のバックボーンは凍結したままにする。両ラボによると、概念を条件にしたドラフト生成は平均受理長を4.17%延ばし、オーバーヘッドはごくわずかだという。

Tags: NCP-ArchPreview, オープンウェイトモデル, 言語モデル, 上海AIラボ, Apache 2.0

[元の投稿を見る](https://x.com/ModelScope2022/status/2102624028582133927)