Qwen, 하이브리드 컴퓨터 사용 에이전트를 위한 RecreationBench 도입

ModelScope는 Qwen이 RecreationBench를 도입했다고 밝혔는데, 이는 Ubuntu, macOS, Windows, Android 및 Web에 걸친 하이브리드 컴퓨터 사용 에이전트용 250개의 애플리케이션 재현 작업을 가진 벤치마크이다. 작업은 생산성, 개발, 그래픽, 멀티미디어, 과학과 같은 영역에 걸쳐 있다.

GUI 전용 또는 터미널 전용 벤치마크와 달리, 에이전트는 실행 중인 참조 앱을 탐색하고 코드로 재현하며, 프로그램 테스트와 VLM 기반 시각 평가를 모두 통과해야 한다. 데이터셋은 https://modelscope.ai/datasets/Qwen/RecreationBench에서 이용할 수 있다.