NVIDIA Mid-Harness 將 TerminalBench-Lite 的 Pass@1 由 50.0% 提升至 68.0%
一篇關於終端智能體測試時計算的 NVIDIA 論文稱,GPT-5.6 Sol 驗證器在八條取樣 shell 指令中選擇,可將 TerminalBench-Lite 的 Pass@1 由 50.0% 提升至 68.0%。驗證器較弱時,增加樣本幾乎沒有作用。
一篇關於終端智能體測試時計算的 NVIDIA 論文稱,GPT-5.6 Sol 驗證器在八條取樣 shell 指令中選擇,可將 TerminalBench-Lite 的 Pass@1 由 50.0% 提升至 68.0%。驗證器較弱時,增加樣本幾乎沒有作用。