エージェントハーネスのプロンプトとツール簡素化でコストを最大3倍削減、研究で判明

ある研究論文は、基盤となるモデルを固定した状態でエージェントハーネスを変更することが性能にどう影響するかを評価し、SWE-bench Verifiedの447タスクにおいてClaude Code、mini-SWE-agent、OpenCodeをテストした。Claude Codeとmini-SWE-agentのスコア差は5ポイント以内にとどまり、ハーネスの変更による結果の違いは同一ハーネスを再実行した場合とほぼ同程度で、45タスクの高難度サブセットではいずれも13%のタスクで結果が変化した。

この研究結果は、ハーネスのシステムプロンプトやツールスキーマをコンパクトに保つことで、精度を損なうことなくトークンコストを最大3倍削減できることを示している。コスト差が生じた要因は、各ステップでシステムプロンプトとツール定義が再送信され、エージェントの実行ステップが長くなるにつれて累積トークン使用量が急増したことにある。