TypeSafe AI, Jev 출시 후 Modal에서 1조 토큰 처리
Modal에 따르면 TypeSafe AI 팀은 Jev가 출시된 목요일부터 일요일 사이에 자사 컴퓨팅 인프라에서 1조 토큰을 처리했다. Modal은 해당 팀이 자사 플랫폼에서 Jev를 어떻게 확장했는지 설명하는 개요 영상도 함께 공개했다.
관련 AI 뉴스
DTap 레드팀, Jev 1.13 직접 오용 ASR 70.1% 보고
Zhaorun Chen은 DTap에서 Jev 1.13을 레드팀 평가한 결과 직접 오용의 공격 성공률이 70.1%, 간접 프롬프트 인젝션이 43.5%였다고 밝혔다. Jev로 자체 도구 호출을 게이팅하자 그 성공률은 낮아지고 효용의 대부분은 유지됐다고 한다. TypeSafe AI는 Jev가 제대로 작동하지 않는지 의문을 제기하며, 조합 가능성을 위해 만들어졌다고 밝혔다.
a16z, 신뢰도와 함께 선택을 반환하는 TypeSafe AI의 Jev 논의
Diogo Almeida가 a16z의 Ben Horowitz, Martin Casado와 Jev에 대해 이야기했다. Jev는 소프트웨어 안에서 동작하도록 만든 모델이다. 자연어를 읽고 선택지 집합에서 하나를 반환하며, 각 항목의 신뢰도를 함께 제시한다.
Jev 신규 가입자에게 무료 크레딧이 더 이상 제공되지 않는다
TypeSafe AI는 Jev 신규 가입자에게 무료 크레딧을 더 이상 제공하지 않으며, 가능한 한 빨리 복원하기를 바란다고 밝혔다. Jev는 TypeSafe 콘솔에서 시작할 수 있다.
논문, Jev의 yes/no 점수 하나로 정렬 실패를 표시
한 논문은 TypeSafe AI의 Jev가 추가 학습 없이 정렬 실패와 양호한 응답을 중앙값 AUROC 0.886으로 구분했다고 보고한다. 19개 벤치마크에서 Jev 1회 평가 비용은 0.30달러로, 해당 벤치마크가 쓰는 LLM 판정자의 18.96달러와 비교됐다.
JEV 캐스케이드는 GPT-6 정확도의 99%를 약 57% 비용으로 유지
Jev-as-a-Judge 논문은 TypeSafe AI의 확신 있는 JEV 판정을 받아들이고 나머지는 GPT-6 Astra로 올리면, 510개 홀드아웃 선호 쌍에서 GPT-6 정확도의 99%를 GPT-6 비용의 약 57%로 유지했다고 보고한다. 저자들은 상향 임계값이 모든 폴백 모델로 전이되지 않았으며 자체 데이터에서 설정해야 한다고 말한다.