# 論文用一次 Jev 是/否評分標記對齊失敗

一篇論文報告，TypeSafe AI 的 Jev 無需額外訓練，就能以 0.886 的中位 AUROC 把對齊失敗與良好回應區分開。在 19 項基準上，一次 Jev 評估成本為 0.30 美元，而這些基準所用的 LLM 評判成本為 18.96 美元。

Language: zh-HK
Time zone: Asia/Hong_Kong
Current time (UTC, cached as of): 2026-11-17T15:13:00.000Z
Query date (Asia/Hong_Kong): 2026-11-17

HTML: https://didcodexreset.com/zh-hk/news/a8f1cfebf3db4b759dcd1271.html

Content language: zh-HK
Localization state: translated

來源：elvis · 發布於 28/9/2026 04:03:40

研究人員用 44 個現有基準構建了 RLCDAlignBench，涵蓋十類失敗，包括諂媚、越獄、欺騙、提示注入和獎勵黑客。該方法向 Jev 提出一個關於模型回應的通用是/否問題，並把該概率用作分數。Jev 是 TypeSafe AI 的校準決策模型，可在一次呼叫中回答關於同一輸入的多個分類型問題，每個問題都有各自的概率。

論文稱，在 StrongREJECT 上，Jev 與 GPT-4o-mini 評分器在人類標籤上的一致性相當，且對回應的排序更好，AUROC 為 0.971，對照為 0.929。在 Jev 自信地與基準標籤不一致的地方，它在三項基準中發現了標籤錯誤。問題措辭影響不大，但閾值不能跨基準遷移；用 10 條已標註樣本擬合一個閾值後，中位 F1 從 0.706 升至 0.793。

結果見 [arXiv 論文](https://arxiv.org/abs/2609.29429)，另有 [論文對話](https://academy.dair.ai/papers/just-ask-jev-reinforcement-learning-for-calibrated-decisions-as-a-zero-shot-dete-2609.29429)。

Tags: Jev, TypeSafe AI, 對齊, RLCDAlignBench, 基準

[查看主帖原文](https://x.com/omarsar0/status/2104295014117589053)
