#benchmarks

DeepLearning.AI 在 The Batch 中详解 DeepSeek 缓存缩减与 Flash 基准测试表现

DeepLearning.AI 在最新一期 The Batch 中分析了 DeepSeek 的架构，指出其每个 token 的缓存降至 890 字节，较 DeepSeek-V1 缩小了 437 倍。分析还提到，当输入从 4K 扩展至 1M token 时，每个输出 token 的计算量增加了 25%，并指出 Flash 在 AA Index 基准测试中得分超过 V4-Pro。

Arena.ai 在 Agent Arena 上基于逾 4,700 次智能体测试评估 Jev Router

Arena.ai 在 Agent Arena 上针对 typesafeai 开发的 Jev Router 开展了逾 4,700 次智能体测试。结果显示，虽然该路由模型未能突破现有帕累托前沿，但在响应用户反馈方面展现出了强大的可控性。

Hamed Nilforoshan 对比测试 OpenAI Decisions API 与 Jev 在 HiringCafe 上的表现

Hamed Nilforoshan 在 HiringCafe 上对比评估了 OpenAI Decisions API 与 Jev。结果显示，在评估职位查询相关性方面，OpenAI 的 API 成本高出一倍，表现落后 5% 至 10%。

研究发现精简 Agent 框架提示词与工具最多可降低 3 倍成本

一项在 SWE-bench Verified 上使用相同模型对比 Claude Code、mini-SWE-agent 与 OpenCode 的研究发现，精简框架提示词和工具定义可在不降低准确率的前提下，将成本最高降低 3 倍。

Scale Labs 推出视觉推理基准 Humanity's Sixth Sense

Scale Labs 推出评估基准 Humanity's Sixth Sense，包含涵盖图像与视频的 522 项开放式任务，用于测试日常直觉视觉推理能力。

Artificial Analysis 在其智能指数中给 Claude Haiku 5.5 评出 43 分

Artificial Analysis 给 Claude Haiku 5.5 评出 43 分，比一年前的前代 Haiku 高出 26 分，并报告其拥有 100 万 token 上下文窗口。测试结果还涵盖 token 消耗量、终端任务、事实准确率，以及该机构认为可能被低估的 AutomationBench 得分。

NVIDIA 论文提出 VERA 框架，协同演进智能体 Harness 与模型

NVIDIA 的一篇研究论文介绍了 VERA 系统。该系统将基准轨迹转化为 9,000 多个具备评分准则的可重启沙箱，并在演进模型权重的同时协同演进智能体 Harness。团队开源了该环境语料库，并报告称 27B 智能体在 AutoCoWorkBench 上取得 71.6 分，超越了 Claude Opus 4.8。

Mistral AI 公布 Mistral Large 4 在 AutomationBench 上的 657 项工作流测试结果

Mistral AI 公布了 AutomationBench 评测结果。在模拟办公应用的 657 项业务工作流中，Mistral Large 4 完成了测试，表现领先于 Kimi K3、MiMo-V2.6-Pro 和 DeepSeek V4 Pro。

Mistral Large 4 位列 Code Arena: WebDev 榜单第 45 名

Mistral Large 4 以 1,534 分在 Arena.ai 的 Code Arena: WebDev 榜单上位列第 45 名，与 Claude Opus 4.8 (High) 仅差 2 分，混合 Token 成本仅为后者的近六分之一。

Google Nano Banana 2.1 登上 Arena.ai 图像生成与编辑榜单

Arena.ai 将 Google 的 Nano Banana 2.1 纳入其文生图、图像编辑和多图编辑竞技场；该模型在多图编辑中排名第四，在文生图中排第五，在图像编辑中排第六。

Mistral Large 4 在网络安全基准测试中超越 Opus 5.5 与 GPT-6 Astra

Cline 报告显示，Mistral Large 4 在网络安全基准测试中表现优于 Opus 5.5 和 GPT-6 Astra，主要原因是两款竞争模型有约 40% 的测试任务被安全过滤器拦截。

GitHub 推出开源基准 ReviewBench，用于评估 AI 代码审查工具

GitHub 发布了开源基准 ReviewBench。该基准基于覆盖 19 种语言的 219 个拉取请求，旨在评估 AI 代码审查智能体能否在不增加杂讯的前提下识别关键问题。

Mistral Large 4 在网络安全 CTF 竞速赛中攻克 19 道挑战中的 18 道

Mistral AI 表示，Mistral Large 4 在基于实际运行环境的夺旗赛（CTF）竞速测试中通过工具调用攻克了 19 道挑战中的 18 道。

jev Decision Index v0.3 引入私有评估集并新增视觉支持

Apolinário 在 Hugging Face Spaces 发布了 jev Decision Index v0.3，推出了包含私有评估拆分集的更新版基准测试套件，用以跟踪公开基准之外的模型能力，并新增了视觉支持。

Artificial Analysis 评测 Mistral Large 4：支持 512k 上下文并公布 API 定价

Artificial Analysis 评测了 Mistral Large 4 Preview，该模型在 Intelligence Index 上得分为 38，在 Cyber Index 上得分为 50%。Mistral AI 为这款 512k 上下文模型制定的定价为每百万输入 token 1.36 美元、每百万输出 token 4.18 美元，前两周提供五折优惠。

Lambda 在模型卡中引入 NVIDIA AI AIPerf 基准测试

Lambda 更新了模型卡，加入在 Lambda 最低硬件配置下使用 NVIDIA AI 的 AIPerf 套件测得的服务基准，呈现不同用户并发阈值下的部署表现。

蚂蚁集团发布 Ling 3.1 Flash，在 Artificial Analysis 智能指数中取得 41 分

蚂蚁集团发布了推理模型 Ling 3.1 Flash，该模型总参数量为 5600 亿，具备 100 万 token 上下文窗口。Artificial Analysis 在其智能指数 v4.3 中对该模型评分 41 分，指出其在智能体性能和 token 效率上改善明显。

Black Forest Labs 称 FLUX 3 在 Google DeepMind 的 Physics-IQ 基准测试中位列第一

Black Forest Labs 宣布，FLUX 3 在评估视频模型物理世界理解能力的 Google DeepMind Physics-IQ 基准测试中夺得头名，超越了包括 Sora 2、Veo 3.1 和 Cosmos3 在内的前沿系统。

Artificial Analysis 测得 OpenAI Web Search 单任务耗时约 31 秒

Artificial Analysis 测试显示，OpenAI Web Search 的单任务耗时约为 31 秒，在 26 款受测产品中位列第 14 名。由于 OpenAI 并未直接公布搜索延迟，测试团队通过流式事件测算得出该数据。

Artificial Analysis 搜索指数给 OpenAI Web Search 打出 74 分

Artificial Analysis 在其搜索指数（Search Index）中测试了 OpenAI Web Search。该工具获得 74 分，在供应商中排第 5，在 26 款测试产品中排第 7。在搭载中等推理档位的 GPT-5.6 Luna 运行时，这项内置搜索工具平均每项任务耗费约 0.05 美元。