#ai-benchmarks

Artificial Analysis、Cyber Indexを3つのベンチマークの平均とし安全上の拒否を0点に

Artificial Analysisによると、Cyber IndexはCWE-Bench-AA、DeepsecBench-AA、CyberGym-E2E-AAの平均である。モデルが安全上の理由で拒否したタスクは0点となり、他の失敗とは別に報告される。