마이크로소프트 논문, CASD 프롬프트 최적화에서 평균 16.6점 향상 보고

DAIR.AI는 코딩 에이전트를 프롬프트 최적화기로 다룬 마이크로소프트 논문을 소개한다. 그 방법인 CASD는 기성 코딩 에이전트에 에이전트 로그 전체를 주고 분석 코드를 작성하게 하며, 소규모 궤적 묶음에 대한 탐색 루프를 돌리지 않는다. 에이전트는 전체 궤적 말뭉치의 통계를 계산하고, 반복되는 실패 양상을 찾으며, 대표적인 에피소드를 읽고, 그 결과를 하나의 프롬프트에 규칙으로 쓴다. 환경 접근과 검증 데이터는 필요하지 않다.

ALFWorld, tau2-bench 소매와 통신, Spreadsheet Bench-Verified에서 CASD 한 번의 실행은 최적화하지 않은 기준선을 평균 16.6점 높였다. GEPA는 10.9점, SkillOpt는 5.3점 높였다. 최적화된 프롬프트 하나의 비용은 약 1.60달러로, 검증을 거치는 탐색보다 22배 이상 저렴하다.