# Critical-State RL은 결과를 바꾸는 도구 호출만 학습한다

DAIR.AI는 이후 보상을 바꾸는 행동에 해당하는 다중 턴 도구 호출을 가려내고 그 호출만 업데이트하는 Salesforce AI Research의 방법을 설명한다. BFCL v4 missing-function 과제에서 선택한 턴을 학습하면 약 14점이 오른다.

Language: ko
Time zone: Asia/Seoul
Current time (UTC, cached as of): 2026-11-17T15:32:00.000Z
Query date (Asia/Seoul): 2026-11-18

HTML: https://didcodexreset.com/ko/news/dc278faa185d402084875219.html

Content language: ko
Localization state: translated

출처: DAIR.AI · 2026. 9. 29. 00:48:22 게시

Critical-State RL은 보상을 전체 궤적에 나누는 대신, 행동이 결과를 바꾸는 단일 호출만 학습해 다중 턴 도구 사용을 다룬다. 보상이 이후 턴에 달려 있으면 변동의 상당 부분은 하류에서 일어나는 일에서 나온다.

이 방법은 중첩 샘플링으로 현재 행동이 만든 보상 변동과 하류 잡음을 가른 뒤, 선택한 호출만 컨텍스트 밴딧 업데이트로 학습한다. BFCL v4 missing-function 과제에서 선택한 턴을 학습하면 약 14점이 오르지만, 다른 후보 턴을 학습하면 정확도는 그대로이거나 낮아진다.

DAIR.AI는 [Critical-State RL 논문](https://academy.dair.ai/papers/critical-state-rl-diagnosing-trainable-states-for-multi-turn-tool-use-2609.24985)을 가리킨다.

Tags: Critical-State RL, Salesforce, 강화 학습, BFCL, 도구 사용

[원문 게시물 보기](https://x.com/dair_ai/status/2104597506835530112)
