에이전트 하네스 프롬프트와 도구 축소로 비용 최대 3배 절감, 연구서 확인

한 연구 논문은 기본 모델을 고정한 상태에서 에이전트 하네스 변경이 성능에 미치는 영향을 평가하기 위해 SWE-bench Verified의 447개 과제에 걸쳐 Claude Code, mini-SWE-agent, OpenCode를 테스트했다. Claude Code와 mini-SWE-agent의 점수 차이는 5점 이내였으며, 하네스를 변경했을 때의 결과 변화는 동일한 하네스를 재실행했을 때와 거의 비슷했고, 두 경우 모두 45개 과제로 구성된 고난도 서브셋에서 13% 과제의 결과를 바꿨다.

연구 결과에 따르면 하네스 시스템 프롬프트와 도구 스키마를 간결하게 유지하면 정확도를 떨어뜨리지 않고 토큰 비용을 최대 3배까지 절감할 수 있다. 비용 차이는 시스템 프롬프트와 도구 정의가 매 단계마다 다시 전송되면서 에이전트 궤적이 길어질수록 누적 토큰 사용량이 급증하기 때문에 발생했다.