# Meta Superintelligence Labs 論文描述 RL 後訓練中的 Sharpening Tax（銳化稅）

在 42 對基礎模型與後訓練模型中，配備輕量測試框架的基礎模型在樣本數很大時，往往比其 RL 後訓練版本解決更多智能代理任務，而後者仍在 pass@1 上勝出。作者的 PTGS 方法在 RL 期間根據估計難度為每個提示設定採樣溫度，支付較小的稅，同時提高 pass@1。

Language: zh-HK
Time zone: Asia/Hong_Kong
Current time (UTC, cached as of): 2026-11-22T13:22:00.000Z
Query date (Asia/Hong_Kong): 2026-11-22

HTML: https://didcodexreset.com/zh-hk/news/76899a075b984f5da74c7213.html

Content language: zh-HK
Localization state: translated

來源：DAIR.AI · 發布於 4/10/2026 00:19:35

Meta Superintelligence Labs 報告，當兩者都取得足夠樣本時，配備輕量測試框架的基礎模型往往比其 RL 後訓練版本解決更多智能代理任務。後訓練模型在 pass@1 上勝出，但在 K 很大時，基礎模型經常能解決後訓練模型在 BFCL v4 multi-turn、ACEBench 和 WebShop 上從未解決的任務。

作者表示，後訓練會把每項任務推向永遠解決或永遠不解決，提高一致性，同時降低覆蓋範圍。他們把失去的測試時可擴展性稱為 Sharpening Tax（銳化稅）。在 42 對基礎模型與後訓練模型中，它出現在大多數設定中，隨模型規模增長，並可從少量 rollout 估計。

他們的修正方法 PTGS 在 RL 期間根據每個提示的估計難度設定其採樣溫度。它支付較小的稅，同時提高 pass@1。論文為 [Sharpening Tax in post-training](https://academy.dair.ai/papers/sharpening-tax-in-post-training-2610.01509)。

Tags: 銳化稅, PTGS, Meta Superintelligence Labs, 後訓練, 智能代理基準

[查看主帖原文](https://x.com/dair_ai/status/2106418508259377411)
