CMUの論文、ソルバーを変えずにエージェントのハーネスを編集する4B提案モデルを訓練

CMUの論文 Harness Learning Enables Generalizable Test-Time Adaptation は、ソルバーモデルの重みを変えるのではなく、エージェントのハーネスコードを編集することでエージェントを改善する提案モデルを強化学習で訓練する。

提案モデルはタスク、現在のハーネス、実行レポートを読み取り、コード編集を書き出す。その報酬は改訂されたハーネスのスコアであり、ソルバーモデルは固定されたままである。

訓練された4B提案モデルはReasoning Gymの単一ステップ改訂で35B教師モデルを上回り、訓練で見なかったタスクファミリーも含まれる。HotpotQAで訓練された提案モデルはMuSiQueと2WikiMultihopQAでハーネスを改善し続ける。