CoreWeaveが強化学習向けにモデル重みをリアルタイム更新する「RL Rollouts」を発表

CoreWeaveは、強化学習のトレーニングループにおけるレイテンシを削減するため、RL Rolloutsの提供を開始した。チェックポイントごとに再デプロイしてトレーナーを一時停止する代わりに、処理中のリクエストを中断することなく稼働中のデプロイに新しい重みをロードし、標準的な再デプロイサイクルと比べて約15倍高速に動作する。

NVIDIAとYou.comは、Web検索向けNemotron 3.5 Lightningの事後学習にRL Rolloutsを使用した。CoreWeaveの分析によると、このワークフローによってツール呼び出しが30.24%削減され、BrowseCompの精度が36.97%から45.45%に向上した。