Did Codex Reset
GitHub

QQ·微信群

Tencent Hy 推出面向 AI 构建网页应用的 WebCraftBench

Arena.ai

Tencent Hy 推出 WebCraftBench。智能体使用正在运行的应用,覆盖率引导的探索会找出从未触及的部分,该基准再对美观度、可用性以及是否满足原始请求进行评分。Tencent Hy 称,在 197 组经人工验证的配对上,其判断与人类偏好的一致率为 85.3%。论文见 arXiv:2609.15387。

Arena.ai 称,WebCraftBench 基于从 Tencent Hy 内部 Code Arena 复刻版收集的 369 条请求构建,涵盖非正式用语、不完整指令、不同项目范围和多样偏好。Arena.ai 还称,在 17 个模型上,其排名与 Code Arena 排行榜的相关性为 0.89。