# JEVのカスケードは料金の約57%でGPT-6の精度の99%を維持

Jev-as-a-Judgeの論文は、TypeSafe AIのJEVが確信を持って出した判定を採用し、残りをGPT-6 Astraへエスカレーションすると、510件のホールドアウト選好ペアでGPT-6の精度の99%を、GPT-6の料金の約57%で維持したと報告している。著者らは、エスカレーションの閾値はすべてのフォールバックモデルへそのまま移せず、自らのデータで設定すべきだとしている。

Language: ja
Time zone: Asia/Tokyo
Current time (UTC, cached as of): 2026-11-10T06:47:00.000Z
Query date (Asia/Tokyo): 2026-11-10

HTML: https://didcodexreset.com/ja/news/d787ece8d1514ca69442772f.html

Content language: ja
Localization state: translated

出典：DAIR.AI · 2026/9/25 00:48:35 公開

Jev-as-a-Judgeを提案する論文は、評価の大半は安価な審査モデルに任せ、不確かな判定だけをフロンティアモデルへ送るべきだとしている。この手法を、TypeSafe AIの判定専用審査モデルであるJEVで検証した。510件のホールドアウト選好ペアでは、JEVが確信を持って出した判定を採用し、残りをGPT-6 Astraへエスカレーションするカスケードが、GPT-6の精度の99%をその料金の約57%で維持した。

JEVは判定とラベルの確率を返し、推論テキストは生成しない。費用は判定1,000件あたり0.044ドル、レイテンシの中央値は0.152秒で、GPT-6の12.182ドル、1.885秒と比べて約277倍安い。

通常の選好と根拠に基づく事実性では、JEVはGPT-6との差を3ポイント以内に収めている。RewardBenchでは92.2%対93.5%、HaluEvalでは87.5%対86.7%だった。導出の確認や、精緻に書かれた誤答の棄却を要する課題では差が9〜20ポイントに広がり、JudgeBenchでは78.6%対93.1%となった。複数のベンチマークでは、JEVとGPT-6の差は確信度の低い判定に集中している。エスカレーションの閾値はすべてのフォールバックモデルへそのまま移らなかったため、著者らは自らのデータで設定することを推奨している。論文は[Jev-as-a-Judge: accept when confident, escalate when unsure](https://academy.dair.ai/papers/jev-as-a-judge-accept-when-confident-escalate-when-unsure-2609.26550)。

Tags: AI評価, JEV, LLMジャッジ, TypeSafe AI, GPT-6

[元の投稿を見る](https://x.com/dair_ai/status/2103147453717545278)