Did Codex Reset
GitHub

엔비디아 논문, 에이전트 하네스와 모델을 동시 진화시키는 VERA 프레임워크 공개

elvis

VERA는 벤치마크 궤적을 루브릭 평가가 지원되는 9,000개 이상의 재시작 가능한 샌드박스로 변환하며, 실제로 실행되고 관찰 가능한 증거로 평가할 수 있는 환경만 선별해 유지한다. 학습 과정에서 이 프레임워크는 에이전트 하네스와 모델 가중치를 동시에 진화시킨다. 하네스 수정 사항은 자체 테스트를 통과하고 개발 셋에서 최소 5점 이상의 향상을 보일 때만 유지되며, 모델 체크포인트는 성능이 20% 이상 하락할 경우 폐기된다.

연구 논문에 따르면, 동시 진화된 9B 에이전트는 가장 강력한 단일 축 기준선 대비 AutoCoWorkBench에서 10.3점, AutoMedBench에서 13.0점 높은 성능을 보였다. 27B 모델의 경우 AutoCoWorkBench에서 71.6점을 기록하며 Claude Opus 4.8을 앞섰다. 엔비디아는 이 환경 말뭉치를 오픈소스로 공개했다.

#nvidia#ai-에이전트#벤치마크#오픈소스

Taste-Bench 최고 모델, 더 나은 방향을 59.7% 선택

Microsoft와 동료들의 논문에 따르면, 최고 모델은 긴 엔지니어링·연구 과제에서 열려 있는 더 나은 방향을 고르는 Taste-Bench 문항의 59.7%를 맞힌다. 나중에 나오는 근거로 판가름나는 분기점은 훨씬 어렵고, 추론 예산을 늘려도 정확도는 오르지 않으며, 교사의 결과 판단을 증류하면 홀드아웃 SWE-bench Pro 성공률이 개선된다.

Harness-Aware Distillation, 소형 모델 에이전트의 ALFWorld 성공률 63.4% 달성

교사 모델의 결정을 대조하여 소형 언어 모델 에이전트가 하네스 정보를 활용하도록 훈련하는 프레임워크인 Harness-Aware Distillation에 관한 연구 논문이 발표되었다. 이를 통해 훈련된 학생 모델은 미확인 ALFWorld 태스크에서 63.4%의 성공률을 기록하며 8B 교사 모델의 성능을 넘어섰다.

CMU 논문, 솔버를 바꾸지 않고 에이전트 하네스를 편집하는 4B 제안 모델 훈련

이 하네스 학습 논문은 강화 학습으로 제안 모델이 과제, 현재 하네스, 실행 보고서를 바탕으로 하네스 코드를 수정하도록 한다. 훈련된 4B 제안 모델은 Reasoning Gym 단일 단계 수정에서 35B 교사 모델을 능가하며, HotpotQA 훈련은 MuSiQue와 2WikiMultihopQA로 전이된다.