# JEV 級聯以約 57% 費用保留 GPT-6 準確率的 99%

一篇 Jev-as-a-Judge 論文報告，接納 TypeSafe AI 有信心的 JEV 判定，並把其餘個案升級至 GPT-6 Astra，在 510 組留出偏好配對上保留了 GPT-6 準確率的 99%，費用約為 GPT-6 的 57%。作者表示，升級閾值並非對每個後備模型都能轉移，應按自身數據設定。

Language: zh-HK
Time zone: Asia/Hong_Kong
Current time (UTC, cached as of): 2026-11-10T06:51:00.000Z
Query date (Asia/Hong_Kong): 2026-11-10

HTML: https://didcodexreset.com/zh-hk/news/d787ece8d1514ca69442772f.html

Content language: zh-HK
Localization state: translated

來源：DAIR.AI · 發布於 24/9/2026 23:48:35

一篇介紹 Jev-as-a-Judge 的論文指出，多數評估應使用便宜的評判，只把不確定的判定送交前沿模型。論文以 TypeSafe AI 只輸出判定的評判 JEV 測試這套做法。在 510 組留出偏好配對上，一套級聯接納 JEV 有信心的判定，並把其餘個案升級至 GPT-6 Astra，以約 57% 的費用保留了 GPT-6 準確率的 99%。

JEV 回傳判定與標籤概率，不產生推理文本。每 1,000 次判定收費 0.044 美元，中位延遲 0.152 秒；GPT-6 則為 12.182 美元及 1.885 秒，JEV 約便宜 277 倍。

在一般偏好與有證據依據的事實性任務上，JEV 與 GPT-6 的差距維持在 3 個百分點以內：RewardBench 為 92.2% 對 93.5%，HaluEval 為 87.5% 對 86.7%。在需要核對推導，或拒絕一篇寫得詳盡卻錯誤的答案的任務上，差距擴大至 9 至 20 個百分點，其中包括 JudgeBench 的 78.6% 對 93.1%。在多項基準上，JEV 與 GPT-6 的差距集中在其低信心判定。升級閾值並非對每個後備模型都能轉移，因此作者建議按自身數據設定。論文為 [Jev-as-a-Judge：有信心便接納，不確定便升級](https://academy.dair.ai/papers/jev-as-a-judge-accept-when-confident-escalate-when-unsure-2609.26550)。

Tags: AI 評估, JEV, LLM 評判, TypeSafe AI, GPT-6

[查看主帖原文](https://x.com/dair_ai/status/2103147453717545278)