Did Codex Reset
GitHub

NVIDIAのMid-Harness、TerminalBench-LiteのPass@1を50.0%から68.0%に引き上げ

DAIR.AI

Mid-Harnessは生成器とharnessを変えず、両者の間で動作する。候補となるshellコマンドを複数サンプリングし、1件を実行する前に検証する。論文は、検証器により多くの計算を使うほうが、サンプルを追加で引くよりも有用だとしている。

GPT-5.6 Solがサンプリング済みの8件のアクションから選ぶと、TerminalBench-LiteのPass@1は50.0%から68.0%に上昇する。弱い検証器は追加サンプルからほとんど得るものがない。小型のTMAX-9Bモデルが自身の候補を確認する場合は、ペアワイズ比較が最も有効で、強い検証器をTMAX-9Bに蒸留するとさらに効果がある。アクションサンプリングと軌跡サンプリングを組み合わせると、完全な軌跡だけをサンプリングするよりも、推定トークンコストを抑えつつ高い成功率に達する。論文はMid-Harness。

#nvidia#mid-harness#terminalbench#テスト時計算#端末エージェント

最もきれいな公開ターミナルエージェント向けRLコレクションでも、Salesforce AI Researchの監査を通過したのは35.8%

Salesforce AI Researchは、そのコレクションのクリーン率を35.8%、ほか2件を10.1%と3.3%とした。報酬の誤りは両方向で見つかった。著者らによると、欠陥のある環境を除外するRIVERは、TMaxの環境の30%未満しか使わずに、Terminal-Bench-LiteでのRLの向上幅を106%、Terminal-Bench v2.1で30%増やした。

NVIDIAのSkill2Env、公開Agent Skillsを7,971件のターミナルタスクにコンパイル

Codexのプランナーとクリエイターが各スキルを検証済みのターミナルワークフローに変え、そのスキル自身の品質基準から取ったルーブリックを使う。結果のみの強化学習でQwen3.8-27BはTerminal-Bench 2.1の成績を49.4%から54.1%に上げた。ルーブリックを加えると50.1%にとどまったが、軌跡の比較ではより多く選ばれた。

EverMind AI、モデルハーネスを進化させるオープンソースシステム Raven を公開

DAIR.AIは、EverMind AIのオープンソースのマルチエージェントシステム「Raven」について説明している。Ravenはモデルとドメインごとに別個のハーネスを構築し、失敗からそれを進化させる。DeepSeek-V4-Flashでは、その研究用ハーネスがBrowseCompで69.3%、Humanity's Last Examで60.0%を記録した。

ActiveSaddler、エージェントハーネスを最適化しながらシナリオを適応させる

DAIR.AI は、Microsoft と共同研究者らによる論文 ActiveSaddler を紹介している。これは、エージェントハーネスの最適化に使うシナリオを変えるものだ。同じ最適化器で、固定シナリオ順と比べてテスト Pass@1 が GAIA2 では 4.4 ポイント、Terminal-Bench 2.0 では 7.5 ポイント向上する。

DAIR.AI、Meta の RankEvolve を紹介——Claude Code と Codex を組み合わせる

DAIR.AI は、Meta の論文に基づく RankEvolve を、Claude Code と Codex を別々のノードとして実行し、互いの変更をレビューして修復するプロトコルだと説明している。同一予算では、実行精度は 45.8% から 62.5% に上がり、12 回の反復で MovieLens-20M 上の HSTU の NDCG@10 が 4.48% 改善する。