Surge AI 盲测编程能力:Mistral Large 4 位列总榜第二
Surge AI 配合 Mistral Large 4 发布评估了五款前沿模型的代码审查质量,该模型在开放权重模型中排名第一,总榜仅次于 Opus 5 位列第二。
Surge AI 配合 Mistral Large 4 发布评估了五款前沿模型的代码审查质量,该模型在开放权重模型中排名第一,总榜仅次于 Opus 5 位列第二。
Arena.ai 将 12 个模型的 34,580 次裁决与人类投票进行了比较,覆盖 1,460 场 Arena 对战。平均而言,模型有 58% 的时间选择自己的答案,而人们选择同一答案的比例为 34%。
Patrick Wendell 表示,Databricks 对 2,400 名工程师在线工作负载的分析,加上离线评测,发现 Opus 5.5 与 GPT-6 Luna 拓展了成本与质量前沿。Opus 5.5 将相同任务的成本较 Opus 4.8 降低 20%,Databricks 正鼓励将其作为日常编程的默认模型。
一篇新论文报告,13 个模型中有 8 个在请求保持相同时,仍会为被推断为富裕的用户选择更贵的航班、医疗保险或研究生项目。Claude Opus 4.8 的价差最高达到每趟航班 198 美元、保险每月 284 美元。
Arena.ai 称,OpenAI 的 GPT-6 Sol(Max)在 4,000 余次真实世界智能体任务会话中净提升 +7.7%,每项任务中位成本为 0.75 美元。它落后 Claude Fable 5(High)0.60 个百分点,但每项任务成本低 56%。
新概览汇总新加入模型、分类表现、能力说明和 Arena 动态的实时信号,并可展示 GPT-6 Sol、Claude Opus 5.5 等模型的跨竞技场分数。
Arena.ai 表示,已生成 Anthropic 的 Claude Opus 5.5 与 OpenAI 的 GPT-6 Sol 的并排输出,Claude Opus 5.5 的评分即将公布。
使用相同的 /design 提示,Command Code 给 DeepSeek-V4.1-Flash 打出 9/10、费用 0.024 美元,给 Mimo-V2.6-Flash 打出 8/10、费用 0.018 美元,给 Grok-4.7 打出 3/10、费用 0.35 美元。
Artificial Analysis 已将 Controlled Voice Arena 扩展至日语、普通话、印地语、西班牙语、德语、法语、葡萄牙语、越南语和阿拉伯语,并为每种语言单独设立文本转语音排行榜。排名采用该语言的母语提示词、标准化克隆语音,以及母语使用者的偏好投票。
Controlled Voice Arena 现已对日语、普通话、印地语、西班牙语、德语、法语、葡萄牙语、越南语和阿拉伯语的文本转语音模型进行排名。Cartesia 的 Sonic 系列在九个榜单中的八个领先,Inworld AI 的 Realtime TTS-2 在普通话榜单排名第一。
OpenAI 的两款模型已可在 Arena 上测试,针对真实世界智能体任务的投票会计入排行榜。Arena.ai 称,petergostev 还用相同提示词、在最高推理设置下比较了 GPT-6 Sol 与 GPT-5.6 Sol。
OpenAI 表示将支持独立评估,并在训练、评估和部署环节提供深入访问,同时概述四个优先领域以及严谨、安全、独立开展工作的原则。