VeriHarness, 베이스 모델을 장기 에이전트 작업용 검증기로 바꾼다

Google 논문 VeriHarness는 동일한 베이스 모델을 두 가지 역할을 하는 에이전트형 검증기로 바꾼다. 하나는 샘플링된 에이전트 rollout이 서로 다르게 나온 주장을 워크스페이스 증거를 확인해 해결한다. 다른 하나는 모든 rollout이 동의한 주장에 이의를 제기하고, 모두가 놓친 요구사항을 찾는다. 논문은 합의가 공통 오류를 숨길 수 있고, 불일치는 종종 올바른 대안을 가리킨다고 말한다。

5개의 장기 벤치마크 전반에서 논문은 테스트한 베이스라인 중 최고의 선택 점수를 보고한다. 증거 기반 수정으로 단일 rollout 대비 Gemini 3.5 Flash에서 6.2점, Claude Opus 4.8에서 6.4점을 더한다. 저자들은 약 26,000개의 rollout도 공개한다. 논문은 arXiv에 있다.