Shanghai AI Lab과 SJTU LUMIA Lab, 8.9B 오픈 웨이트 모델 NCP-ArchPreview 공개

Shanghai AI Lab과 SJTU의 LUMIA Lab이 Apache 2.0 라이선스의 오픈 웨이트 8.9B 언어 모델 NCP-ArchPreview를 공개했다. 가중치는 NCP-ArchPreview 컬렉션에 있으며, 논문도 제공된다.

두 연구소는 이 모델이 Dolma 3 토큰 5.73조 개로 학습됐고, 토큰의 51.3%만으로 OLMo-3-7B의 최종 Stage 1 손실에 도달해 수렴 이득이 1.95배라고 밝혔다. Stage 1 매크로 평균은 46.59에서 49.04로 올랐고, GSM8K에서 5.99, HumanEval에서 4.28 높아졌다고 전했다.

NCP는 토큰과 길이가 4분의 1인 개념 시퀀스를 함께 예측한 뒤, 그 개념을 다시 넣어 생성을 유도한다. 도메인 적응에서는 토큰 백본을 고정한 채 1,700만 파라미터 개념 모듈만 업데이트한다. 두 연구소는 개념 조건화 드래프팅이 평균 수용 길이를 4.17% 개선했으며 오버헤드는 무시할 만한 수준이라고 밝혔다.