VeriHarness、ベースモデルを長期的なエージェントタスク向け検証器に変える

Google の論文 VeriHarness は、同じベースモデルを 2 つの役割を担うエージェント型検証器に変える。1 つは、サンプリングされたエージェント rollout が一致しない主張を、ワークスペースの証拠を確認して解決する。もう 1 つは、すべての rollout が一致する主張に異議を唱え、それらがすべて見落とした要件を探す。論文は、一致が共通の誤りを隠すことがあり、不一致はしばしば正しい代替案を示すと述べている。

5 つの長期的ベンチマークで、論文はテストしたベースラインの中で最良の選択スコアを報告している。証拠に基づく修正により、Gemini 3.5 Flash では単一 rollout より 6.2 ポイント、Claude Opus 4.8 では 6.4 ポイント追加する。著者らは約 26,000 件の rollout も公開している。論文は arXiv にある。