AutoCompact、コーディングエージェントがコンテキストをいつ圧縮するか判断できるよう訓練

AutoCompactは、コーディングエージェントがコンテキストをいつ圧縮するか、どの作業状態を保持するか、どのように再開するかを判断できるよう訓練する。ジャッジが基礎エージェントの圧縮判断を確認し、実行前に欠陥のある判断を置き換える。修正された軌跡は教師あり微調整に使われ、その後、タスク成功報酬付きの強化学習がコーディングと圧縮を同時に訓練する。論文はarXivにある。

通過率はSWE-bench Verifiedで9.2ポイント、SWE-PolyBench Verifiedで5.0ポイント向上する。256Kウィンドウが一度もオーバーフローしない場合でもこの向上は維持されるため、コンテキスト空間が制約でない場合でも学習された圧縮は役立つ。著者らはこのプロアクティブな圧縮をモデルとハーネスの共同設計と呼んでいる。ハーネスが圧縮メカニズムを提供し、モデルはいつ呼び出すか、何を保持するか、どのように続けるかを学習する。