# Critical-State RL 只训练会改变结果的那一次工具调用

DAIR.AI 介绍了 Salesforce AI Research 的一种方法：找出多轮工具调用中动作会改变后续奖励的那一次，并只更新这一次调用。在 BFCL v4 的 missing-function 任务上，训练所选轮次大约增加 14 分。

Language: zh-CN
Time zone: Asia/Shanghai
Current time (UTC, cached as of): 2026-11-17T15:32:00.000Z
Query date (Asia/Shanghai): 2026-11-17

HTML: https://didcodexreset.com/zh/news/dc278faa185d402084875219.html

Content language: zh-CN
Localization state: translated

来源：DAIR.AI · 发布于 2026/9/28 23:48:22

Critical-State RL 针对多轮工具使用，只训练动作会改变结果的那一次调用，而不是把奖励分摊到整条轨迹。当奖励取决于后续轮次时，其变化有很大一部分来自下游发生的事。

该方法用嵌套采样，把当前动作造成的奖励变化与下游噪声分开，再用 contextual-bandit 更新只训练所选调用。在 BFCL v4 的 missing-function 任务上，训练所选轮次大约增加 14 分，而训练另一个候选轮次则使准确率持平或下降。

DAIR.AI 指向 [Critical-State RL 论文](https://academy.dair.ai/papers/critical-state-rl-diagnosing-trainable-states-for-multi-turn-tool-use-2609.24985)。

Tags: Critical-State RL, Salesforce, 强化学习, BFCL, 工具使用

[查看主帖原文](https://x.com/dair_ai/status/2104597506835530112)
