Did Codex Reset
GitHub

NVIDIA의 Skill2Env, 공개 Agent Skills를 7,971개 터미널 작업으로 컴파일

DAIR.AI

NVIDIA의 Skill2Env는 공개된 각 Agent Skill을 강화학습용 실행 가능 터미널 작업으로 컴파일한다. Codex 플래너는 SKILL.md 번들을 읽고 관련 공개 자료를 조사한 뒤 스킬을 워크플로로 나눈다. 이어서 Codex 크리에이터가 프로그램 방식의 테스트와 해당 스킬 자체의 품질 기준에서 가져온 행동 루브릭으로 각 작업을 만든다.

약 3,400개의 크롤링된 스킬에서 파이프라인은 13개 영역에 걸쳐 7,971개 작업을 만들었으며, 소프트웨어 엔지니어링은 전체의 4분의 1 미만이다. GPT-5.6 Sol로 생성하는 데 API 사용 비용이 9만 달러를 넘었다. 관련 글은 Skill2Env 논문이다.

결과만 반영한 RL을 300단계 진행한 뒤 Qwen3.8-27B는 Terminal-Bench 2.1에서 49.4%에서 54.1%로, 직접 검증한 홀드아웃 벤치마크 S2EBench의 pass@1에서는 33.4%에서 37.7%로 올랐다. 보상에 루브릭을 더하면 벤치마크 상승 폭은 더 작아 Terminal-Bench 2.1에서 50.1%였다. 원본 SKILL.md가 주어진 상태에서 심사자는 작업의 73.0%에서 루브릭으로 학습한 모델의 궤적을 기본 모델보다 선호했고, 결과만 반영한 모델은 54.5%였다.

#skill2env#nvidia#agent-skills#강화학습#qwen

가장 깨끗한 공개 터미널 에이전트 RL 컬렉션 중 Salesforce AI Research 감사를 통과한 비율은 35.8%뿐

Salesforce AI Research는 양방향 보상 오류를 확인한 뒤 해당 컬렉션의 깨끗한 비율을 35.8%, 다른 두 컬렉션은 10.1%와 3.3%로 제시했다. 저자들은 결함 환경을 걸러내는 RIVER가 TMax 환경의 30% 미만을 쓰면서도 Terminal-Bench-Lite에서 RL 이득을 106%, Terminal-Bench v2.1에서 30% 늘린다고 말한다.

SkillLift 논문, 에이전트 스킬 진화에 토큰 비용 40–70% 감소 보고

DAIR.AI가 전체 롤아웃으로 모든 수정본을 채점하는 대신 학습된 루브릭을 훈련해 에이전트 스킬 프롬프트 후보의 순위를 매기는 SkillLift 논문을 조명했다. SkillsBench와 WildClawBench에서 SkillOpt와 CoEvoSkills를 능가하고, 목표 성능에 40 to 70% 더 적은 토큰으로 도달했다고 보고한다.

마이크로소프트 논문, CASD 프롬프트 최적화에서 평균 16.6점 향상 보고

CASD는 기성 코딩 에이전트가 에이전트 로그 전체를 분석하고 그 결과를 하나의 프롬프트에 규칙으로 쓰게 하며, 환경 접근이나 검증 데이터는 쓰지 않는다. DAIR.AI는 한 번의 실행이 보고된 벤치마크에서 GEPA와 SkillOpt를 앞섰고, 최적화된 프롬프트당 비용은 약 1.60달러라고 밝혔다.

JEV 캐스케이드는 GPT-6 정확도의 99%를 약 57% 비용으로 유지

Jev-as-a-Judge 논문은 TypeSafe AI의 확신 있는 JEV 판정을 받아들이고 나머지는 GPT-6 Astra로 올리면, 510개 홀드아웃 선호 쌍에서 GPT-6 정확도의 99%를 GPT-6 비용의 약 57%로 유지했다고 보고한다. 저자들은 상향 임계값이 모든 폴백 모델로 전이되지 않았으며 자체 데이터에서 설정해야 한다고 말한다.

스탠퍼드와 Together AI 논문에서 세 모델의 자기조직화 팀이 평균 66.7%를 기록

DAIR.AI는 스탠퍼드와 Together AI 논문에서 o3-mini, Claude Sonnet 4, DeepSeek-V3가 자기조직화 팀으로 수학·물리 벤치마크 다섯 개에서 평균 66.7%를 기록했다고 전했다. 이는 가장 강한 구성원 단독의 48.8%와 완벽한 라우터의 59.0%보다 높다.