Qwenがハイブリッドコンピュータ使用エージェント向けにRecreationBenchを導入

ModelScopeは、QwenがRecreationBenchを導入したと述べた。これはUbuntu、macOS、Windows、Android、Webにわたるハイブリッドコンピュータ使用エージェント向けの250のアプリケーション再現タスクを備えたベンチマークである。タスクは生産性、開発、グラフィックス、マルチメディア、科学などの領域にまたがる。

GUIのみまたはターミナルのみのベンチマークとは異なり、エージェントは実行中の参照アプリを探索し、コードで再現し、プログラムテストとVLMベースの視覚評価の両方に合格する必要がある。データセットはhttps://modelscope.ai/datasets/Qwen/RecreationBenchで利用可能である。