Did Codex Reset
GitHub

#terminal-bench

すべてのAIニュースを見る

UT Austin の研究、トークンを削るコンテキスト圧縮がコーディングエージェントを遅くする可能性

UT Austin の研究は SWE-bench Verified と Terminal-Bench で約 35,000 回のコーディングエージェント実行を行い、コンテキストの圧縮方法、圧縮をいつ発動するか、どれだけ削除するかを変えた。Qwen を使う Terminal-Bench では、約 3 分の 1 のトークンを使うポリシーは、完全なコンテキストを保持する場合より 20% から 80% 長くかかることがある。

ActiveSaddler、エージェントハーネスを最適化しながらシナリオを適応させる

DAIR.AI は、Microsoft と共同研究者らによる論文 ActiveSaddler を紹介している。これは、エージェントハーネスの最適化に使うシナリオを変えるものだ。同じ最適化器で、固定シナリオ順と比べてテスト Pass@1 が GAIA2 では 4.4 ポイント、Terminal-Bench 2.0 では 7.5 ポイント向上する。

SkillGym がスキル軌跡で Qwen3.5-35B-A3B をファインチューニング

論文が SkillGym を提案している。人が書いたスキルを 2,756 の訓練環境に変換し、8,364 件の成功軌跡でファインチューニングする。Claude Code 上の Qwen3.5-35B-A3B がその後 Terminal-Bench 2.1 で 19.10 ポイント向上し、スキル支援の SkillsBench v1.1 で 51.47% に達したと報告している。

StepFunがStep Code v0.1.0をMITライセンスでオープンソース化

StepFunはコマンドラインツールStep Code v0.1.0をMITライセンスでオープンソースとして公開した。StepPageによるワンコマンドでの静的サイト公開を含む。StepFunはTerminal-Bench 2.1で80.9%、150タスクの長期タスクベンチマークであるMulti-Frameで73.3%と報告している。