TypeSafe AI、Jev公開後にModal上で1兆トークンを処理
Modalによると、TypeSafe AIチームは同社のコンピュートインフラ上で、Jevが公開された木曜日から日曜日までの間に1兆トークンを処理した。またModalは、同チームが自社プラットフォーム上でJevをどのようにスケーリングしたかを説明する概要動画も公開した。
関連AIニュース
DTapのレッドチーム、Jev 1.13の直接悪用ASRは70.1%と報告
Zhaorun Chenは、DTap上でJev 1.13をレッドチーム評価した結果、直接悪用の攻撃成功率が70.1%、間接プロンプトインジェクションが43.5%だったと述べている。Jevで自身のツール呼び出しをゲートするとその成功率は下がり、効用の大部分は保たれたという。TypeSafe AIはJevが機能していないのかを疑問視し、組み合わせやすさのために作られていると述べている。
a16zがTypeSafe AIのJevを議論、信頼度付きで選択肢を返すモデル
Diogo Almeidaがa16zのBen Horowitz、Martin CasadoとJevについて話した。Jevはソフトウェアの中で動くように作られたモデルだ。自然言語を読み、選択肢の集合から一つを返し、それぞれに信頼度を付ける。
Jevの新規登録では無料クレジットが付与されなくなった
TypeSafe AIは、Jevの新規登録者に無料クレジットを付与しなくなったとし、できるだけ早く復活させたいとしている。JevはTypeSafeコンソールから開始できる。
論文、Jevの1回のyes/noスコアでアライメント失敗を検出
論文は、TypeSafe AIのJevが追加学習なしで、アライメント失敗と良好な応答を中央値AUROC 0.886で区別したと報告している。19のベンチマークでは、Jevの1回の判定コストは0.30ドルで、各ベンチマークが使うLLM判定者の18.96ドルと比べて低かった。
JEVのカスケードは料金の約57%でGPT-6の精度の99%を維持
Jev-as-a-Judgeの論文は、TypeSafe AIのJEVが確信を持って出した判定を採用し、残りをGPT-6 Astraへエスカレーションすると、510件のホールドアウト選好ペアでGPT-6の精度の99%を、GPT-6の料金の約57%で維持したと報告している。著者らは、エスカレーションの閾値はすべてのフォールバックモデルへそのまま移せず、自らのデータで設定すべきだとしている。