# Salesforce AI Research 審核最乾淨的公開終端代理 RL 資料集，僅 35.8% 通過

Salesforce AI Research 在發現雙向獎勵錯誤後，將該資料集的乾淨比例定為 35.8%，另外兩個分別為 10.1% 和 3.3%。作者表示，用於過濾有缺陷環境的 RIVER，在使用少於 TMax 30% 環境的情況下，把 Terminal-Bench-Lite 上的 RL 增益提高 106%，把 Terminal-Bench v2.1 上的增益提高 30%。

Language: zh-HK
Time zone: Asia/Hong_Kong
Current time (UTC, cached as of): 2026-11-10T07:02:00.000Z
Query date (Asia/Hong_Kong): 2026-11-10

HTML: https://didcodexreset.com/zh-hk/news/463eff388a894a76bf8742de.html

Content language: zh-HK
Localization state: translated

來源：DAIR.AI · 發布於 24/9/2026 09:15:48

Salesforce AI Research 審核了面向終端代理的公開強化學習資料集。最乾淨的資料集中，只有 35.8% 的環境通過。另外兩個公開資料集的乾淨比例分別為 10.1% 和 3.3%。審核發現雙向獎勵錯誤：部分環境在未完成任務的情況下，因複製外洩答案或通過薄弱驗證器而給予獎勵 1；另一些環境則因參考答案或 oracle 有誤，把正確解法評為獎勵 0。

作者提出的方法 RIVER 會過濾有缺陷的環境，並懲罰以幾乎相同輸出重複先前指令的回合。他們認為，RL 主要塑造預訓練和 SFT 中已經學到的行為，包括行動前先檢查、完成前先驗證，以及放棄持續失敗的做法。

在環境預算維持 3.5K 的情況下，River-8B 在四項終端基準測試的平均分為 19.4，而從同一資料集隨機抽取 3.5K 個環境進行 RL 的平均分為 17.7。在作者評估的公開 RL 訓練 8B 模型中，River-8B 在全部四項基準測試都最好。他們報告，在 2B 至 27B 的模型上，並使用少於 TMax 30% 的環境時，RIVER 把 Terminal-Bench-Lite 上的 RL 增益提高 106%，把 Terminal-Bench v2.1 上的增益提高 30%。論文為 [Learning generalizable behaviors for terminal agents](https://academy.dair.ai/papers/learning-generalizable-behaviors-for-terminal-agents-2608.22631)。

Tags: Salesforce, 強化學習, RIVER, 終端代理

[查看主帖原文](https://x.com/dair_ai/status/2102926030034059464)