NVIDIA Mid-Harness, TerminalBench-Lite Pass@1을 50.0%에서 68.0%로 높여

Mid-Harness는 생성기와 harness를 그대로 두고 둘 사이에서 작동한다. 후보 shell 명령을 여러 개 샘플링하고, 그중 하나를 실행하기 전에 검증한다. 논문은 검증기에 계산을 더 쓰는 편이 샘플을 추가로 뽑는 것보다 유용하다고 본다.

GPT-5.6 Sol이 샘플링한 동작 8개 중에서 고르면 TerminalBench-Lite Pass@1은 50.0%에서 68.0%로 상승한다. 약한 검증기는 샘플을 추가해도 거의 이득이 없다. 작은 TMAX-9B 모델이 자신의 후보를 점검할 때는 쌍별 비교가 가장 잘 맞고, 강한 검증기를 TMAX-9B로 증류하면 도움이 더해진다. 동작 샘플링과 궤적 샘플링을 함께 쓰면, 전체 궤적만 샘플링할 때보다 추정 토큰 비용을 낮추면서 더 높은 성공률에 이른다. 논문은 Mid-Harness이다.