# Critical-State RL 只訓練會改變結果的那一次工具調用

DAIR.AI 介紹 Salesforce AI Research 的一種方法：找出多輪工具調用中動作會改變後續獎勵的那一次，並只更新該次調用。在 BFCL v4 的 missing-function 任務上，訓練所選輪次大約增加 14 分。

Language: zh-HK
Time zone: Asia/Hong_Kong
Current time (UTC, cached as of): 2026-11-17T15:32:00.000Z
Query date (Asia/Hong_Kong): 2026-11-17

HTML: https://didcodexreset.com/zh-hk/news/dc278faa185d402084875219.html

Content language: zh-HK
Localization state: translated

來源：DAIR.AI · 發布於 28/9/2026 23:48:22

Critical-State RL 針對多輪工具使用，只訓練動作會改變結果的那一次調用，而不是把獎勵分攤到整條軌跡。當獎勵取決於後續輪次時，其變化有很大一部分來自下游發生的事。

該方法用嵌套取樣，把當前動作造成的獎勵變化與下游雜訊分開，再用 contextual-bandit 更新只訓練所選調用。在 BFCL v4 的 missing-function 任務上，訓練所選輪次大約增加 14 分，而訓練另一個候選輪次則使準確率持平或下降。

DAIR.AI 指向 [Critical-State RL 論文](https://academy.dair.ai/papers/critical-state-rl-diagnosing-trainable-states-for-multi-turn-tool-use-2609.24985)。

Tags: Critical-State RL, Salesforce, 強化學習, BFCL, 工具使用

[查看主帖原文](https://x.com/dair_ai/status/2104597506835530112)
