Did Codex Reset
GitHub

JEV 캐스케이드는 GPT-6 정확도의 99%를 약 57% 비용으로 유지

DAIR.AI

Jev-as-a-Judge를 소개하는 논문은 대부분의 평가에 저렴한 판정 모델을 쓰고, 불확실한 호출만 프론티어 모델로 보내야 한다고 본다. 이 방식은 TypeSafe AI의 판정 전용 모델인 JEV로 시험했다. 510개 홀드아웃 선호 쌍에서 JEV의 확신 있는 판정을 받아들이고 나머지는 GPT-6 Astra로 올린 캐스케이드는 GPT-6 정확도의 99%를 비용의 약 57%로 유지했다.

JEV는 판정과 라벨 확률을 반환하며 추론 텍스트는 생성하지 않는다. 판정 1,000건당 비용은 $0.044이고 지연 시간 중앙값은 0.152초로, GPT-6의 $12.182와 1.885초보다 약 277배 저렴하다.

일반적인 선호와 근거 기반 사실성에서 JEV는 GPT-6와 3점 이내를 유지한다. RewardBench에서는 92.2% 대 93.5%, HaluEval에서는 87.5% 대 86.7%다. 도출 과정을 검증하거나 정교하게 작성된 오답을 거부해야 하는 과제에서는 격차가 9점에서 20점으로 커지며, JudgeBench에서는 78.6% 대 93.1%다. 여러 벤치마크에서 JEV와 GPT-6의 격차는 낮은 확신 판정에 집중된다. 상향 임계값은 모든 폴백 모델로 전이되지 않아, 저자들은 자체 데이터에서 설정할 것을 권한다. 논문은 Jev-as-a-Judge: accept when confident, escalate when unsure다.

#ai-평가#jev#llm-판정-모델#typesafe-ai#gpt-6

마이크로소프트 논문, CASD 프롬프트 최적화에서 평균 16.6점 향상 보고

CASD는 기성 코딩 에이전트가 에이전트 로그 전체를 분석하고 그 결과를 하나의 프롬프트에 규칙으로 쓰게 하며, 환경 접근이나 검증 데이터는 쓰지 않는다. DAIR.AI는 한 번의 실행이 보고된 벤치마크에서 GEPA와 SkillOpt를 앞섰고, 최적화된 프롬프트당 비용은 약 1.60달러라고 밝혔다.

가장 깨끗한 공개 터미널 에이전트 RL 컬렉션 중 Salesforce AI Research 감사를 통과한 비율은 35.8%뿐

Salesforce AI Research는 양방향 보상 오류를 확인한 뒤 해당 컬렉션의 깨끗한 비율을 35.8%, 다른 두 컬렉션은 10.1%와 3.3%로 제시했다. 저자들은 결함 환경을 걸러내는 RIVER가 TMax 환경의 30% 미만을 쓰면서도 Terminal-Bench-Lite에서 RL 이득을 106%, Terminal-Bench v2.1에서 30% 늘린다고 말한다.

NVIDIA의 Skill2Env, 공개 Agent Skills를 7,971개 터미널 작업으로 컴파일

Codex 플래너와 크리에이터가 각 스킬을, 그 스킬 자체의 품질 기준에서 가져온 루브릭을 사용해 테스트된 터미널 워크플로로 바꾼다. 결과만 반영한 RL은 Terminal-Bench 2.1에서 Qwen3.8-27B를 49.4%에서 54.1%로 올렸고, 루브릭을 추가하면 50.1%에 그쳤지만 궤적 비교에서는 더 많이 앞섰다.

스탠퍼드와 Together AI 논문에서 세 모델의 자기조직화 팀이 평균 66.7%를 기록

DAIR.AI는 스탠퍼드와 Together AI 논문에서 o3-mini, Claude Sonnet 4, DeepSeek-V3가 자기조직화 팀으로 수학·물리 벤치마크 다섯 개에서 평균 66.7%를 기록했다고 전했다. 이는 가장 강한 구성원 단독의 48.8%와 완벽한 라우터의 59.0%보다 높다.