# Critical-State RLは結果を変えるツール呼び出しだけを学習する

DAIR.AIは、後の報酬を変える行動にあたるマルチターンのツール呼び出しを切り分け、その呼び出しだけを更新するSalesforce AI Researchの手法を説明している。BFCL v4のmissing-functionタスクでは、選んだターンを学習すると約14ポイント上がる。

Language: ja
Time zone: Asia/Tokyo
Current time (UTC, cached as of): 2026-11-17T15:32:00.000Z
Query date (Asia/Tokyo): 2026-11-18

HTML: https://didcodexreset.com/ja/news/dc278faa185d402084875219.html

Content language: ja
Localization state: translated

出典：DAIR.AI · 2026/9/29 00:48:22 公開

Critical-State RLは、報酬を軌跡全体に配分するのではなく、行動が結果を変える単一の呼び出しだけを学習することで、マルチターンのツール使用を対象にする。報酬が後続ターンに依存する場合、その変動の多くは下流で起きることによる。

この手法はネストサンプリングで、現在の行動による報酬の変動と下流のノイズを分け、選んだ呼び出しだけをコンテキストバンディット更新で学習する。BFCL v4のmissing-functionタスクでは、選んだターンを学習すると約14ポイント上がる一方、もう一方の候補ターンを学習すると精度は横ばいか低下する。

DAIR.AIは[Critical-State RLの論文](https://academy.dair.ai/papers/critical-state-rl-diagnosing-trainable-states-for-multi-turn-tool-use-2609.24985)を示している。

Tags: Critical-State RL, Salesforce, 強化学習, BFCL, ツール使用

[元の投稿を見る](https://x.com/dair_ai/status/2104597506835530112)
