Tencent Hy、AIで作ったウェブアプリ向けWebCraftBenchを発表

Tencent HyがWebCraftBenchを発表した。エージェントは稼働中のアプリを使い、カバレッジ誘導探索で一度も到達しなかった箇所を見つけ、ベンチマークは見た目、使いやすさ、元の依頼を満たしたかを採点する。Tencent Hyによると、人間が検証した197組では、人間の好みと85.3%の割合で一致した。論文はarXiv:2609.15387。

Arena.aiによると、WebCraftBenchはTencent HyのCode Arena内部レプリカから集めた369件の依頼をもとに作られ、くだけた言葉、不完全な指示、異なるプロジェクト規模、多様な好みを含む。Arena.aiはまた、17モデル全体で順位がCode Arenaのリーダーボードと0.89の相関を示したとしている。