Microsoftの論文、CASDのプロンプト最適化で平均16.6ポイント向上を報告
DAIR.AIは、コーディングエージェントをプロンプト最適化器として扱うMicrosoftの論文を紹介している。その手法CASDは、軌跡の小バッチに対する探索ループを回す代わりに、既製のコーディングエージェントへエージェントログ一式を渡し、分析コードを書かせる。エージェントは軌跡コーパス全体の統計を計算し、繰り返される失敗モードを見つけ、代表的なエピソードを読み、それらの知見を1つのプロンプト内のルールとして記述する。環境へのアクセスも検証データも不要だ。
ALFWorld、tau2-benchの小売と通信、Spreadsheet Bench-Verifiedにおいて、CASDの1回の実行は最適化前のベースラインを平均16.6ポイント向上させた。GEPAは10.9ポイント、SkillOptは5.3ポイントの向上だった。最適化済みプロンプト1件の費用は約1.60ドルで、検証を条件とする探索より22倍以上安い。