DTap 레드팀, Jev 1.13 직접 오용 ASR 70.1% 보고

Zhaorun Chen은 DTap(DecodingTrust-Agent Platform)에서 Jev 1.13을 레드팀 평가한 결과 안전 격차가 확인됐다고 밝혔다. 직접 오용에서 공격 성공률은 70.1%, 간접 프롬프트 인젝션에서는 43.5%였다. 그는 이러한 간접 인젝션 평가에서 Jev가 공격자가 주입한 지시를 따랐으며, 여기에는 사용자 데이터 반출, 파일 삭제 또는 기타 유해한 행동을 하라는 지시가 포함됐다고 말했다.

Chen은 더 안전한 통합 방식으로 Jev를 자체 도구 호출의 셀프 게이팅 계층으로 쓰는 방법을 제시했다. 그는 이 접근이 공격 성공률을 크게 낮추면서 Jev 효용의 대부분을 유지했다고 밝혔다. TypeSafe AI는 Jev가 “제대로 작동하지 않는다”는 주장에 의문을 제기하며, Jev는 조합 가능성을 위해 만들어졌고 이 상황에는 더 많은 Jev가 필요하다고 말했다.