Did Codex Reset
GitHub

PrimeScientist, AutoResearch보다 보상 10.3% 높고 연구 시도 50.6% 적어

DAIR.AI

PrimeScientist는 연구 에이전트가 예산을 어디에 쓸지 정하는 일을 에이전트 업무의 일부로 다룬다. 서로 경쟁하는 연구 방향과 그 결과를 실행 가능한 계획 트리로 유지한다. 적응형 MCTS 정책은 실험 피드백과 남은 예산을 읽고, 새 방향을 탐색할지 유망한 방향을 이어갈지 고른다.

DAIR.AI는 같은 예산의 AI 연구 과제 12개에서 PrimeScientist가 AutoResearch보다 보상은 10.3% 높고 연구 시도는 50.6% 적었다고 밝혔다. DAIR.AI는 이 성과가 시스템, 코드 최적화, ML 엔지니어링 과제에서도 유지된다고 하지만, 그 설정별 수치는 따로 제시하지 않았다. 해당 계정은 PrimeScientist 논문을 가리킨다.

#primescientist#연구-에이전트#autoresearch#mcts

마이크로소프트 논문, CASD 프롬프트 최적화에서 평균 16.6점 향상 보고

CASD는 기성 코딩 에이전트가 에이전트 로그 전체를 분석하고 그 결과를 하나의 프롬프트에 규칙으로 쓰게 하며, 환경 접근이나 검증 데이터는 쓰지 않는다. DAIR.AI는 한 번의 실행이 보고된 벤치마크에서 GEPA와 SkillOpt를 앞섰고, 최적화된 프롬프트당 비용은 약 1.60달러라고 밝혔다.

JEV 캐스케이드는 GPT-6 정확도의 99%를 약 57% 비용으로 유지

Jev-as-a-Judge 논문은 TypeSafe AI의 확신 있는 JEV 판정을 받아들이고 나머지는 GPT-6 Astra로 올리면, 510개 홀드아웃 선호 쌍에서 GPT-6 정확도의 99%를 GPT-6 비용의 약 57%로 유지했다고 보고한다. 저자들은 상향 임계값이 모든 폴백 모델로 전이되지 않았으며 자체 데이터에서 설정해야 한다고 말한다.

가장 깨끗한 공개 터미널 에이전트 RL 컬렉션 중 Salesforce AI Research 감사를 통과한 비율은 35.8%뿐

Salesforce AI Research는 양방향 보상 오류를 확인한 뒤 해당 컬렉션의 깨끗한 비율을 35.8%, 다른 두 컬렉션은 10.1%와 3.3%로 제시했다. 저자들은 결함 환경을 걸러내는 RIVER가 TMax 환경의 30% 미만을 쓰면서도 Terminal-Bench-Lite에서 RL 이득을 106%, Terminal-Bench v2.1에서 30% 늘린다고 말한다.

NVIDIA의 Skill2Env, 공개 Agent Skills를 7,971개 터미널 작업으로 컴파일

Codex 플래너와 크리에이터가 각 스킬을, 그 스킬 자체의 품질 기준에서 가져온 루브릭을 사용해 테스트된 터미널 워크플로로 바꾼다. 결과만 반영한 RL은 Terminal-Bench 2.1에서 Qwen3.8-27B를 49.4%에서 54.1%로 올렸고, 루브릭을 추가하면 50.1%에 그쳤지만 궤적 비교에서는 더 많이 앞섰다.