Did Codex Reset
GitHub

SkillLift 논문, 에이전트 스킬 진화에 토큰 비용 40–70% 감소 보고

DAIR.AI

DAIR.AI가 모든 후보 수정본을 채점하려고 전체 에이전트 롤아웃을 실행하지 않고 에이전트 스킬 프롬프트를 진화시키는 방법인 SkillLift에 관한 논문을 조명했다. SkillLift는 두 스킬 중 어느 것이 더 나은지에 대한 실제 결과와 일치하도록 루브릭을 훈련하는데, 순위 매기기가 각 점수를 예측하는 것보다 오라클 실행이 더 적게 필요하다는 근거에서다.

내부 루프는 롤아웃 비용 없이 고정된 루브릭에 맞춰 스킬을 수정한다. 외부 루프는 순위 상관으로 루브릭을 재정렬하기 위해 몇 번의 실제 롤아웃을 사용한다. 해당 게시물은 롤아웃 비용이 스킬 자기 진화가 보통 관찰된 실패만 패치하는 이유라고 말한다.

SkillsBench와 WildClawBench (147개 태스크)에서 세 가지 모델로, SkillLift는 해당 베이스라인에 토큰 예산을 두 배로 주었을 때도 여섯 가지 조합 모두에서 SkillOpt와 CoEvoSkills를 능가했으며, 40 to 70% 더 적은 토큰으로 목표 성능에 도달했다고 한다. 논문: https://academy.dair.ai/papers/skilllift-learning-dense-rubrics-from-sparse-oracles-for-efficient-skill-evoluti-2609.15396

#skilllift#에이전트-스킬#연구#llm-에이전트

NVIDIA의 Skill2Env, 공개 Agent Skills를 7,971개 터미널 작업으로 컴파일

Codex 플래너와 크리에이터가 각 스킬을, 그 스킬 자체의 품질 기준에서 가져온 루브릭을 사용해 테스트된 터미널 워크플로로 바꾼다. 결과만 반영한 RL은 Terminal-Bench 2.1에서 Qwen3.8-27B를 49.4%에서 54.1%로 올렸고, 루브릭을 추가하면 50.1%에 그쳤지만 궤적 비교에서는 더 많이 앞섰다.

EvolveTrade, 각 구간 이후 트레이딩 에이전트의 시스템 프롬프트를 다시 작성

EvolveTrade 논문은 트레이딩 에이전트의 시스템 프롬프트를 정책으로 보고, 별도 Policy Agent가 각 구간 이후 의사결정 기록과 실현 수익률을 바탕으로 프롬프트를 다시 작성하게 한다. 기반 모델은 고정된 채 유지된다. 여러 시장 국면과 두 가지 기반 모델에서, 논문은 대부분 설정에서 고정 프롬프트 기준선보다 높은 샤프 비율과 누적 수익률을 보고한다.

마이크로소프트 논문, CASD 프롬프트 최적화에서 평균 16.6점 향상 보고

CASD는 기성 코딩 에이전트가 에이전트 로그 전체를 분석하고 그 결과를 하나의 프롬프트에 규칙으로 쓰게 하며, 환경 접근이나 검증 데이터는 쓰지 않는다. DAIR.AI는 한 번의 실행이 보고된 벤치마크에서 GEPA와 SkillOpt를 앞섰고, 최적화된 프롬프트당 비용은 약 1.60달러라고 밝혔다.

JEV 캐스케이드는 GPT-6 정확도의 99%를 약 57% 비용으로 유지

Jev-as-a-Judge 논문은 TypeSafe AI의 확신 있는 JEV 판정을 받아들이고 나머지는 GPT-6 Astra로 올리면, 510개 홀드아웃 선호 쌍에서 GPT-6 정확도의 99%를 GPT-6 비용의 약 57%로 유지했다고 보고한다. 저자들은 상향 임계값이 모든 폴백 모델로 전이되지 않았으며 자체 데이터에서 설정해야 한다고 말한다.

가장 깨끗한 공개 터미널 에이전트 RL 컬렉션 중 Salesforce AI Research 감사를 통과한 비율은 35.8%뿐

Salesforce AI Research는 양방향 보상 오류를 확인한 뒤 해당 컬렉션의 깨끗한 비율을 35.8%, 다른 두 컬렉션은 10.1%와 3.3%로 제시했다. 저자들은 결함 환경을 걸러내는 RIVER가 TMax 환경의 30% 미만을 쓰면서도 Terminal-Bench-Lite에서 RL 이득을 106%, Terminal-Bench v2.1에서 30% 늘린다고 말한다.