Did Codex Reset
GitHub

Just-in-Time Memory는 새 작업이 도착할 때 원시 에이전트 궤적을 정리한다

DAIR.AI

DAIR.AI는 에이전트 메모리에 관한 Salesforce AI Research 논문 Just-in-Time Memory를 소개한다. 실행이 끝날 때마다 요약하는 대신 원시 궤적을 저장하고, 다음 작업이 도착할 때 무엇을 추출할지 결정한다.

큐레이터는 검색된 궤적과 새 작업을 함께 읽고, 그 작업을 위한 짧은 메모리 페이로드를 작성한다. 페이로드는 즉시 사용되므로 같은 작업의 성공 여부로 큐레이터를 훈련할 수 있다. DAIR.AI는 훈련되지 않은 큐레이터도 작업 종료 시 작성된 메모리와 같거나 그보다 낫다고 말한다.

ALFWorld, WebShop, tau2-bench에서 DAIR.AI는 Just-in-Time Memory가 가장 강한 기준선보다 성공률을 16.2, 16.3, 3.9포인트 앞선다고 말한다. Just-in-Time Memory 논문 링크는 DAIR.AI가 제공한다.

#just-in-time-memory#salesforce-ai-research#에이전트-메모리#llm-에이전트

SkillLift 논문, 에이전트 스킬 진화에 토큰 비용 40–70% 감소 보고

DAIR.AI가 전체 롤아웃으로 모든 수정본을 채점하는 대신 학습된 루브릭을 훈련해 에이전트 스킬 프롬프트 후보의 순위를 매기는 SkillLift 논문을 조명했다. SkillsBench와 WildClawBench에서 SkillOpt와 CoEvoSkills를 능가하고, 목표 성능에 40 to 70% 더 적은 토큰으로 도달했다고 보고한다.

마이크로소프트 논문, CASD 프롬프트 최적화에서 평균 16.6점 향상 보고

CASD는 기성 코딩 에이전트가 에이전트 로그 전체를 분석하고 그 결과를 하나의 프롬프트에 규칙으로 쓰게 하며, 환경 접근이나 검증 데이터는 쓰지 않는다. DAIR.AI는 한 번의 실행이 보고된 벤치마크에서 GEPA와 SkillOpt를 앞섰고, 최적화된 프롬프트당 비용은 약 1.60달러라고 밝혔다.

JEV 캐스케이드는 GPT-6 정확도의 99%를 약 57% 비용으로 유지

Jev-as-a-Judge 논문은 TypeSafe AI의 확신 있는 JEV 판정을 받아들이고 나머지는 GPT-6 Astra로 올리면, 510개 홀드아웃 선호 쌍에서 GPT-6 정확도의 99%를 GPT-6 비용의 약 57%로 유지했다고 보고한다. 저자들은 상향 임계값이 모든 폴백 모델로 전이되지 않았으며 자체 데이터에서 설정해야 한다고 말한다.

가장 깨끗한 공개 터미널 에이전트 RL 컬렉션 중 Salesforce AI Research 감사를 통과한 비율은 35.8%뿐

Salesforce AI Research는 양방향 보상 오류를 확인한 뒤 해당 컬렉션의 깨끗한 비율을 35.8%, 다른 두 컬렉션은 10.1%와 3.3%로 제시했다. 저자들은 결함 환경을 걸러내는 RIVER가 TMax 환경의 30% 미만을 쓰면서도 Terminal-Bench-Lite에서 RL 이득을 106%, Terminal-Bench v2.1에서 30% 늘린다고 말한다.