# 論文、Jevの1回のyes/noスコアでアライメント失敗を検出

論文は、TypeSafe AIのJevが追加学習なしで、アライメント失敗と良好な応答を中央値AUROC 0.886で区別したと報告している。19のベンチマークでは、Jevの1回の判定コストは0.30ドルで、各ベンチマークが使うLLM判定者の18.96ドルと比べて低かった。

Language: ja
Time zone: Asia/Tokyo
Current time (UTC, cached as of): 2026-11-17T15:11:00.000Z
Query date (Asia/Tokyo): 2026-11-18

HTML: https://didcodexreset.com/ja/news/a8f1cfebf3db4b759dcd1271.html

Content language: ja
Localization state: translated

出典：elvis · 2026/9/28 05:03:40 公開

研究者は、既存の44ベンチマークからRLCDAlignBenchを構築した。対象は、追従、ジェイルブレイク、欺瞞、プロンプトインジェクション、報酬ハッキングを含む10種類の失敗である。この手法は、モデルの応答について汎用のyes/no質問をJevに1つ出し、その確率をスコアとして使う。TypeSafe AIの較正済み意思決定モデルであるJevは、1回の呼び出しで同一入力に関する複数の型付き質問に答えられ、それぞれに独自の確率が付く。

論文によると、StrongREJECTでは、JevはGPT-4o-miniスコアラーと人間ラベルとの一致度が同等で、応答の順位付けはより良く、AUROCは0.971対0.929だった。Jevがベンチマークのラベルと自信を持って食い違った箇所では、3つのベンチマークでラベル誤りを見つけた。質問の文言による差は小さかったが、閾値はベンチマーク間で転用できず、ラベル付き10件で1つを適合させると中央値F1は0.706から0.793に上がった。

結果は[arXiv論文](https://arxiv.org/abs/2609.29429)で報告され、[論文チャット](https://academy.dair.ai/papers/just-ask-jev-reinforcement-learning-for-calibrated-decisions-as-a-zero-shot-dete-2609.29429)も利用できる。

Tags: Jev, TypeSafe AI, アライメント, RLCDAlignBench, ベンチマーク

[元の投稿を見る](https://x.com/omarsar0/status/2104295014117589053)
