Artificial Analysis、Cyber Indexを3つのベンチマークの平均とし安全上の拒否を0点に
Artificial Analysisによると、Cyber IndexはCWE-Bench-AA、DeepsecBench-AA、CyberGym-E2E-AAの平均である。モデルが安全上の理由で拒否したタスクは0点となり、他の失敗とは別に報告される。
Artificial Analysisによると、Cyber IndexはCWE-Bench-AA、DeepsecBench-AA、CyberGym-E2E-AAの平均である。モデルが安全上の理由で拒否したタスクは0点となり、他の失敗とは別に報告される。
Artificial Analysisは、CollinearAI、IBM、NVIDIA、VercelとともにCyber IndexとCyber Index Allianceを公開した。同指数は、AIエージェントが脆弱性を発見し修正する能力を評価する3つのオープンベンチマークを組み合わせ、Grok 4.7(xhigh)とMiMo-V2.6-Proが56点で首位に立つ。