Did Codex Reset
GitHub

하메드 닐포로샨, HiringCafe용 OpenAI Decisions API와 Jev 벤치마크 진행

TypeSafe AI

하메드 닐포로샨이 250만 명의 사용자를 보유한 플랫폼 HiringCafe를 대상으로 OpenAI Decisions API와 Jev를 평가했습니다. 이번 벤치마크에서는 사용자 검색어나 이력서와 채용 공고 간의 관련성을 1부터 10까지의 점수로 예측하는 성능을 측정했습니다.

닐포로샨의 결과에 따르면, 관련성 평가 작업에서 OpenAI Decisions API는 Jev보다 비용이 2배 들고 성능은 5%에서 10% 더 떨어졌습니다.

#openai#jev#벤치마크#api

DTap 레드팀, Jev 1.13 직접 오용 ASR 70.1% 보고

Zhaorun Chen은 DTap에서 Jev 1.13을 레드팀 평가한 결과 직접 오용의 공격 성공률이 70.1%, 간접 프롬프트 인젝션이 43.5%였다고 밝혔다. Jev로 자체 도구 호출을 게이팅하자 그 성공률은 낮아지고 효용의 대부분은 유지됐다고 한다. TypeSafe AI는 Jev가 제대로 작동하지 않는지 의문을 제기하며, 조합 가능성을 위해 만들어졌다고 밝혔다.