# JEV 级联以约 57% 的费用保留 GPT-6 99% 的准确率

一篇 Jev-as-a-Judge 论文报告称，接受 TypeSafe AI 置信度较高的 JEV 判定，并将其余判定升级至 GPT-6 Astra，在 510 对留出偏好样本上保留了 GPT-6 99% 的准确率，费用约为 GPT-6 的 57%。作者表示，升级阈值并不能迁移到每一个回退模型，应基于自身数据设定。

Language: zh-CN
Time zone: Asia/Shanghai
Current time (UTC, cached as of): 2026-11-10T05:28:00.000Z
Query date (Asia/Shanghai): 2026-11-10

HTML: https://didcodexreset.com/zh/news/d787ece8d1514ca69442772f.html

Content language: zh-CN
Localization state: translated

来源：DAIR.AI · 发布于 2026/9/24 23:48:35

一篇介绍 Jev-as-a-Judge 的论文发现，大多数评测应使用低成本评判模型，只把不确定的判定交给前沿模型。论文用 TypeSafe AI 的纯决策评判模型 JEV 检验了这一做法。在 510 对留出偏好样本上，级联方案接受 JEV 的高置信判定，并将其余判定升级至 GPT-6 Astra，以约为 GPT-6 费用 57% 的成本保留了其 99% 的准确率。

JEV 返回判定结果和标签概率，不生成推理文本。每 1,000 次判定费用为 0.044 美元，中位延迟 0.152 秒；GPT-6 则为 12.182 美元和 1.885 秒，JEV 约便宜 277 倍。

在常规偏好判断和基于证据的事实性评测上，JEV 与 GPT-6 的差距保持在 3 个百分点以内：RewardBench 上为 92.2% 对 93.5%，HaluEval 上为 87.5% 对 86.7%。在需要核验推导过程或拒绝写得很详尽的错误答案的任务上，差距扩大到 9 至 20 个百分点，其中包括 JudgeBench 上的 78.6% 对 93.1%。在若干基准测试中，JEV 与 GPT-6 的差距集中在其低置信判定上。升级阈值并不能迁移到每一个回退模型，因此作者建议基于自身数据设定。论文为 [Jev-as-a-Judge: accept when confident, escalate when unsure](https://academy.dair.ai/papers/jev-as-a-judge-accept-when-confident-escalate-when-unsure-2609.26550)。

Tags: AI 评测, JEV, LLM 评判, TypeSafe AI, GPT-6

[查看主帖原文](https://x.com/dair_ai/status/2103147453717545278)