Artificial Analysis、Cyber Indexを3つのベンチマークの平均とし安全上の拒否を0点に

Artificial Analysisによると、Cyber IndexはCWE-Bench-AA、DeepsecBench-AA、CyberGym-E2E-AAのスコアを平均したものである。モデルが安全上の理由で拒否したタスクは0点となる。これらの安全上のブロックは失敗とは別に報告されるため、拒否と、モデルがタスクを試みたものの成功しなかった場合とを区別できる。

採点規則はCyber Indexの方法論にある。全結果はArtificial AnalysisのCyber Index評価ページで公開されている。