NVIDIAが論文発表、エージェントハーネスとモデルを共進化させるフレームワーク「VERA」

VERAはベンチマーク軌跡をルーブリック評価付きの9,000件以上の再起動可能なサンドボックスに変換し、実行可能かつ観察可能なエビデンスに基づいて評価できる環境のみを保持する。訓練中、このフレームワークはエージェントハーネスとモデルの重みを同時に共進化させる。ハーネスの変更は、セルフテストを通過し開発セットで5ポイント以上の向上が得られた場合のみ保持され、モデルのチェックポイントは性能が20%以上低下した場合には棄却される。

研究論文によると、共進化させた9Bエージェントは、最も強力な単一軸ベースラインと比較してAutoCoWorkBenchで10.3ポイント、AutoMedBenchで13.0ポイント上回った。27B規模では、同エージェントはAutoCoWorkBenchで71.6のスコアに達し、Claude Opus 4.8を上回った。NVIDIAはこの環境コーパスをオープンソースとして公開している。