Did Codex Reset
GitHub

QQ·微信群

Tencent Hy 推出 WebCraftBench,評估 AI 構建的網頁應用

Arena.ai

Tencent Hy 推出 WebCraftBench。代理會使用線上應用,覆蓋率導向的探索會找出從未觸及的部分,基準再就美感、可用性,以及是否滿足原始要求評分。Tencent Hy 表示,在 197 組經人工驗證的配對中,與人類偏好的吻合率為 85.3%。論文見 arXiv:2609.15387。

Arena.ai 表示,WebCraftBench 根據從 Tencent Hy 內部 Code Arena 複製品收集的 369 項要求構建,涵蓋非正式語言、不完整指示、不同專案範圍和多元偏好。Arena.ai 亦表示,在 17 個模型中,其排名與 Code Arena 排行榜的相關性為 0.89。