DTapのレッドチーム、Jev 1.13の直接悪用ASRは70.1%と報告

Zhaorun Chenは、DTap（DecodingTrust-Agent Platform）上でJev 1.13をレッドチーム評価した結果、安全上のギャップが見つかったと述べている。直接悪用での攻撃成功率は70.1%、間接プロンプトインジェクションでは43.5%だった。これらの間接インジェクション評価では、Jevは攻撃者が注入した指示に従い、ユーザーデータの持ち出し、ファイル削除、その他の有害な行動を含む指示も実行したという。

Chenは、より安全な統合方法は、Jevを自身のツール呼び出しに対するセルフゲーティング層として使うことだと述べている。この方法は攻撃成功率を大きく下げつつ、Jevの効用の大部分を保ったという。TypeSafe AIは、Jevが「正しく動いていない」という見方に疑問を呈し、Jevは組み合わせやすさのために作られており、この状況にはより多くのJevが必要だと述べている。