Aleph Alpha、KolibriのウェイトをApache 2.0で公開
Aleph AlphaのKolibriは、パラメータ数780億、アクティブパラメータ34.6億で、コンテキストウィンドウは最大100万トークン。ウェイトはApache 2.0のもとで提供され、ローカルハードウェアで実行できる。
#apache-2-0
すべてのAIニュースを見る上海AIラボとSJTUのLUMIAラボ、オープンウェイトの89億パラメータモデルNCP-ArchPreviewを公開
NCP-ArchPreviewはApache 2.0で公開された。両ラボによると、Dolma 3のトークン5.73兆個で学習した後、OLMo-3-7BのStage 1最終損失にトークン数の51.3%で到達し、収束は1.95倍になった。