# Tencent Hy、クリティカルバッチサイズ理論をオンラインLLM強化学習へ拡張

Tencent Hyによると、学習率の再調整により、GRPOとPPOの双方で、一定範囲のバッチサイズにわたって応答あたりの学習量を維持できる。固定ハードウェアでは、バッチサイズを大きくするとPPOの生成段階のスループットが最大2.29倍向上し、測定上最良のGRPO構成は同じ検証目標に29%短い時間で到達した。

Language: ja
Time zone: Asia/Tokyo
Current time (UTC, cached as of): 2026-11-10T07:35:00.000Z
Query date (Asia/Tokyo): 2026-11-10

HTML: https://didcodexreset.com/ja/news/fd086135c444478694ae5d23.html

Content language: ja
Localization state: translated

出典：Tencent Hy · 2026/9/24 11:33:18 公開

Tencent Hyの[オンラインLLM強化学習に関する研究](https://hy-ai.woa.com/research/100116?langVersion=en)は、古典的なクリティカルバッチサイズ理論を再検討し、モデルが自身の学習データを生成し、ロールアウト生成と学習のスケールが異なる設定へ拡張している。

GRPOとPPOの双方で、Tencent Hyは、学習率の再調整により一定範囲のバッチサイズにわたって応答あたりの学習量を維持できると見いだした。固定ハードウェアでは、バッチサイズを拡大するとPPOの生成段階のスループットが最大2.29倍向上し、測定上最良のGRPO構成は同じ検証目標に29%短い時間で到達した。

Tags: Tencent Hy, LLM強化学習, クリティカルバッチサイズ, GRPO, PPO

[元の投稿を見る](https://x.com/TencentHunyuan/status/2102948623751487950)