Tencent Hy, AI로 만든 웹 앱용 WebCraftBench 공개

Tencent Hy가 WebCraftBench를 공개했다. 에이전트가 실제 앱을 사용하고, 커버리지 기반 탐색이 아직 도달하지 못한 부분을 찾아내며, 벤치마크는 심미성, 사용성, 원래 요청의 충족 여부를 평가한다. Tencent Hy는 인간이 검증한 197개 쌍에서 인간 선호와 85.3% 일치한다고 밝혔다. 논문은 arXiv:2609.15387이다.

Arena.ai는 WebCraftBench가 Tencent Hy의 Code Arena 내부 복제본에서 수집한 369건의 요청으로 만들어졌으며, 비격식 언어, 불완전한 지시, 서로 다른 프로젝트 범위, 다양한 선호를 포함한다고 밝혔다. Arena.ai는 또 17개 모델에서 순위가 Code Arena 리더보드와 0.89의 상관관계를 보인다고 했다.