Did Codex Reset
GitHub

QQ·微信群

Qwen 推出面向混合计算机使用智能体的 RecreationBench

ModelScope

ModelScope 表示,Qwen 已推出 RecreationBench,这是一个面向混合计算机使用智能体的基准测试,包含跨 Ubuntu、macOS、Windows、Android 和 Web 的 250 项应用复现任务。这些任务涵盖生产力、开发、图形、多媒体和科学等领域。

与仅限 GUI 或仅限终端的基准测试不同,智能体必须探索正在运行的参考应用,用代码复现该应用,并通过程序化测试和基于 VLM 的视觉评估。数据集可在 https://modelscope.ai/datasets/Qwen/RecreationBench 获取。