# Meta Superintelligence Labs の論文が RL ポストトレーニングにおける Sharpening Tax（シャープニング税）を説明

42 組のベースモデルとポストトレーニング済みモデルのペアでは、軽量ハーネスを備えたベースモデルが大量サンプルでは、RL ポストトレーニング版より多くのエージェントタスクを解くことがしばしばある。ポストトレーニング版は依然として pass@1 で勝る。著者らの PTGS 手法は、RL 中の推定難易度に基づいて各プロンプトのサンプリング温度を設定し、税をより小さくし、pass@1 も引き上げる。

Language: ja
Time zone: Asia/Tokyo
Current time (UTC, cached as of): 2026-11-22T13:22:00.000Z
Query date (Asia/Tokyo): 2026-11-22

HTML: https://didcodexreset.com/ja/news/76899a075b984f5da74c7213.html

Content language: ja
Localization state: translated

出典：DAIR.AI · 2026/10/4 01:19:35 公開

Meta Superintelligence Labs は、両方に十分なサンプルを与えると、軽量ハーネスを備えたベースモデルが RL ポストトレーニング版より多くのエージェントタスクを解くことがしばしばあると報告している。ポストトレーニング済みモデルは pass@1 で勝るが、K が大きいと、ベースモデルは BFCL v4 multi-turn、ACEBench、WebShop でポストトレーニング済みモデルが決して解かないタスクをしばしば解く。

著者らによると、ポストトレーニングは各タスクを常に解決されるか決して解決されないかの方向へ押しやり、一貫性を高める一方でカバレッジを下げる。失われたテスト時スケーラビリティを彼らは Sharpening Tax（シャープニング税）と呼ぶ。42 組のベースモデルとポストトレーニング済みモデルのペアでは、それはほとんどの設定で現れ、モデルサイズとともに増大し、少数のロールアウトから推定できる。

彼らの修正法である PTGS は、RL 中に各プロンプトの推定難易度からそのサンプリング温度を設定する。支払う税はより小さく、pass@1 も高める。論文は [Sharpening Tax in post-training](https://academy.dair.ai/papers/sharpening-tax-in-post-training-2610.01509)。

Tags: シャープニング税, PTGS, Meta Superintelligence Labs, ポストトレーニング, エージェントベンチマーク

[元の投稿を見る](https://x.com/dair_ai/status/2106418508259377411)
