Melissa Pan, 코딩 에이전트 하네스 선택이 정확도보다 비용에 더 큰 영향을 준다고 밝혀

UC Berkeley Sky Computing Lab 박사과정 학생이자 전 Arena 인턴인 Melissa Pan은 코딩 에이전트 Claude Code, Codex, Pi를 비교하며 “harness tax”, 즉 AI 모델을 둘러싼 시스템이 비용과 성능에 어떻게 영향을 미치는지를 살펴봤다.

그녀는 세 가지 결과를 보고했다. 여기에 적힌 결과는 하네스 선택이 정확도보다 비용에 더 큰 영향을 준다는 점이다. 전체 분석은 영상에 있다.