# JEV 캐스케이드는 GPT-6 정확도의 99%를 약 57% 비용으로 유지

Jev-as-a-Judge 논문은 TypeSafe AI의 확신 있는 JEV 판정을 받아들이고 나머지는 GPT-6 Astra로 올리면, 510개 홀드아웃 선호 쌍에서 GPT-6 정확도의 99%를 GPT-6 비용의 약 57%로 유지했다고 보고한다. 저자들은 상향 임계값이 모든 폴백 모델로 전이되지 않았으며 자체 데이터에서 설정해야 한다고 말한다.

Language: ko
Time zone: Asia/Seoul
Current time (UTC, cached as of): 2026-11-10T06:45:00.000Z
Query date (Asia/Seoul): 2026-11-10

HTML: https://didcodexreset.com/ko/news/d787ece8d1514ca69442772f.html

Content language: ko
Localization state: translated

출처: DAIR.AI · 2026. 9. 25. 00:48:35 게시

Jev-as-a-Judge를 소개하는 논문은 대부분의 평가에 저렴한 판정 모델을 쓰고, 불확실한 호출만 프론티어 모델로 보내야 한다고 본다. 이 방식은 TypeSafe AI의 판정 전용 모델인 JEV로 시험했다. 510개 홀드아웃 선호 쌍에서 JEV의 확신 있는 판정을 받아들이고 나머지는 GPT-6 Astra로 올린 캐스케이드는 GPT-6 정확도의 99%를 비용의 약 57%로 유지했다.

JEV는 판정과 라벨 확률을 반환하며 추론 텍스트는 생성하지 않는다. 판정 1,000건당 비용은 $0.044이고 지연 시간 중앙값은 0.152초로, GPT-6의 $12.182와 1.885초보다 약 277배 저렴하다.

일반적인 선호와 근거 기반 사실성에서 JEV는 GPT-6와 3점 이내를 유지한다. RewardBench에서는 92.2% 대 93.5%, HaluEval에서는 87.5% 대 86.7%다. 도출 과정을 검증하거나 정교하게 작성된 오답을 거부해야 하는 과제에서는 격차가 9점에서 20점으로 커지며, JudgeBench에서는 78.6% 대 93.1%다. 여러 벤치마크에서 JEV와 GPT-6의 격차는 낮은 확신 판정에 집중된다. 상향 임계값은 모든 폴백 모델로 전이되지 않아, 저자들은 자체 데이터에서 설정할 것을 권한다. 논문은 [Jev-as-a-Judge: accept when confident, escalate when unsure](https://academy.dair.ai/papers/jev-as-a-judge-accept-when-confident-escalate-when-unsure-2609.26550)다.

Tags: AI 평가, JEV, LLM 판정 모델, TypeSafe AI, GPT-6

[원문 게시물 보기](https://x.com/dair_ai/status/2103147453717545278)