# NVIDIAのMid-Harness、TerminalBench-LiteのPass@1を50.0%から68.0%に引き上げ

端末エージェントのテスト時計算に関するNVIDIAの論文は、GPT-5.6 Solの検証器がサンプリングした8件のshellコマンドから選ぶことで、TerminalBench-LiteのPass@1が50.0%から68.0%に上がると述べている。検証器が弱いと、サンプルを増やしてもほとんど効果がない。

Language: ja
Time zone: Asia/Tokyo
Current time (UTC, cached as of): 2026-11-22T13:22:00.000Z
Query date (Asia/Tokyo): 2026-11-22

HTML: https://didcodexreset.com/ja/news/3ff7d6fe58a745f7867d154b.html

Content language: ja
Localization state: translated

出典：DAIR.AI · 2026/10/4 20:21:34 公開

Mid-Harnessは生成器とharnessを変えず、両者の間で動作する。候補となるshellコマンドを複数サンプリングし、1件を実行する前に検証する。論文は、検証器により多くの計算を使うほうが、サンプルを追加で引くよりも有用だとしている。

GPT-5.6 Solがサンプリング済みの8件のアクションから選ぶと、TerminalBench-LiteのPass@1は50.0%から68.0%に上昇する。弱い検証器は追加サンプルからほとんど得るものがない。小型のTMAX-9Bモデルが自身の候補を確認する場合は、ペアワイズ比較が最も有効で、強い検証器をTMAX-9Bに蒸留するとさらに効果がある。アクションサンプリングと軌跡サンプリングを組み合わせると、完全な軌跡だけをサンプリングするよりも、推定トークンコストを抑えつつ高い成功率に達する。論文は[Mid-Harness](https://academy.dair.ai/papers/mid-harness-scaling-actions-between-model-and-harness-for-terminal-agents-2609.39982)。

Tags: NVIDIA, Mid-Harness, TerminalBench, テスト時計算, 端末エージェント

[元の投稿を見る](https://x.com/dair_ai/status/2106700907106943107)
