Scale AI 发布 SWE-Bench Pro V2
Scale AI 于2026年9月22日发布 SWE-Bench Pro V2,这是 SWE-Bench Pro 更新后的公开划分。
Scale AI 于2026年9月22日发布 SWE-Bench Pro V2,这是 SWE-Bench Pro 更新后的公开划分。
这份联合蓝图将 Scale GenAI Portfolio 带到 Google Cloud,并包含 Gemini Enterprise 集成。Scale AI 表示,它旨在为构建者提供经过验证的基础,以便更快把 AI 投入使用。
elvis 表示,humynlabs 构建了 BRIDGE ASR 2.0,用于评估语音识别在真实双人对话中的表现。这些对话时长为 10 至 15 分钟,涵盖 18 种印度语言,以及西班牙语、葡萄牙语和越南语。
CASD 让现成的编程智能体分析完整的智能体日志集,并把发现写成一条提示中的规则,无需环境访问或验证数据。DAIR.AI 称,单次运行在所报告的基准上超过 GEPA 和 SkillOpt,每条优化后的提示成本约 1.60 美元。
微软及合作者的一篇论文报告,在长周期工程与研究任务中选择更优开放方向时,最佳模型正确回答 59.7% 的 Taste-Bench 问题。由后续证据决定的分叉难度高得多,增加推理预算并不能提高准确率,而将教师模型对结果的判断蒸馏到学生模型后,可提高留出集 SWE-bench Pro 任务的成功率。
Gemini 3.8 Flash 在 Cline 中免费使用。Cline 称其在 Artificial Analysis Intelligence Index 上得分为 41,运行速度为每秒 291 token,上下文窗口为 100 万 token。