JEVのカスケードは料金の約57%でGPT-6の精度の99%を維持
Jev-as-a-Judgeの論文は、TypeSafe AIのJEVが確信を持って出した判定を採用し、残りをGPT-6 Astraへエスカレーションすると、510件のホールドアウト選好ペアでGPT-6の精度の99%を、GPT-6の料金の約57%で維持したと報告している。著者らは、エスカレーションの閾値はすべてのフォールバックモデルへそのまま移せず、自らのデータで設定すべきだとしている。
#ai-evaluation
すべてのAIニュースを見るArena.aiが2026年秋の学術パートナーシップ提案を募集開始、1件あたり最大5万ドル
米国内の大学のテニュアトラック教員は、AI評価の科学的基盤をテーマに2026年秋の提案を提出できる。各プロジェクトは最大5万ドルを受け取れる可能性があり、締切は2026年10月30日。