#swe-bench

研究发现精简 Agent 框架提示词与工具最多可降低 3 倍成本

一项在 SWE-bench Verified 上使用相同模型对比 Claude Code、mini-SWE-agent 与 OpenCode 的研究发现，精简框架提示词和工具定义可在不降低准确率的前提下，将成本最高降低 3 倍。

UT Austin 研究发现，削减 token 的上下文压缩可能拖慢编码智能体

UT Austin 一项研究在 SWE-bench Verified 和 Terminal-Bench 上运行了近 35,000 次编码智能体任务，分别改变上下文如何压缩、何时触发压缩以及压缩掉多少内容。在 Qwen 的 Terminal-Bench 上，只使用约三分之一 token 的策略，耗时可能比保留完整上下文多 20% 到 80%。

AutoCompact 训练编程智能体决定何时压缩上下文

AutoCompact 使用评判器修正压缩决策，然后应用监督微调和带任务成功奖励的强化学习。报告的通过率在 SWE-bench Verified 上提高 9.2 点，在 SWE-PolyBench Verified 上提高 5.0 点，包括在 256K 窗口从未溢出的情况下。

Taste-Bench 最佳模型选出更优方向的比例为 59.7%

微软及合作者的一篇论文报告，在长周期工程与研究任务中选择更优开放方向时，最佳模型正确回答 59.7% 的 Taste-Bench 问题。由后续证据决定的分叉难度高得多，增加推理预算并不能提高准确率，而将教师模型对结果的判断蒸馏到学生模型后，可提高留出集 SWE-bench Pro 任务的成功率。