NVIDIA Mid-Harness 將 TerminalBench-Lite 的 Pass@1 由 50.0% 提升至 68.0%
Mid-Harness 不改變生成器和 harness,在兩者之間運作。它取樣多條候選 shell 指令,並在執行其中一條之前加以驗證。論文發現,把更多運算用在驗證器上,比再抽取額外樣本更有用。
由 GPT-5.6 Sol 在八個取樣動作中選擇時,TerminalBench-Lite 的 Pass@1 由 50.0% 升至 68.0%。弱驗證器從額外樣本中幾乎得不到提升。較小的 TMAX-9B 模型檢查自己的候選時,兩兩比較效果最好,將強驗證器蒸餾到 TMAX-9B 還能進一步帶來幫助。把動作取樣與軌跡取樣結合,能以低於單獨取樣完整軌跡的估計 token 成本達到更高成功率。論文為 Mid-Harness。