#language-model

上海AIラボとSJTUのLUMIAラボ、オープンウェイトの89億パラメータモデルNCP-ArchPreviewを公開

NCP-ArchPreviewはApache 2.0で公開された。両ラボによると、Dolma 3のトークン5.73兆個で学習した後、OLMo-3-7BのStage 1最終損失にトークン数の51.3%で到達し、収束は1.95倍になった。