# Tencent Hy 将临界批量大小理论扩展到在线 LLM 强化学习

Tencent Hy 表示，重新调整学习率可以在有界的批量大小范围内，使 GRPO 与 PPO 的单条回复学习量保持不变。在固定硬件上，增大批量最多可将 PPO 生成阶段吞吐量提升 2.29 倍；其测得的最佳 GRPO 配置达到同一验证目标的时间减少 29%。

Language: zh-CN
Time zone: Asia/Shanghai
Current time (UTC, cached as of): 2026-11-10T06:09:00.000Z
Query date (Asia/Shanghai): 2026-11-10

HTML: https://didcodexreset.com/zh/news/fd086135c444478694ae5d23.html

Content language: zh-CN
Localization state: translated

来源：Tencent Hy · 发布于 2026/9/24 10:33:18

Tencent Hy 的[在线 LLM 强化学习研究](https://hy-ai.woa.com/research/100116?langVersion=en)重新审视了经典临界批量大小理论，并将其扩展到模型自行生成训练数据、且 rollout 生成与训练扩展方式不同的场景。

在 GRPO 与 PPO 上，Tencent Hy 发现重新调整学习率可以在有界的批量大小范围内保持单条回复的学习量。在固定硬件上，增大批量最多可将 PPO 生成阶段吞吐量提升 2.29 倍，而其测得的最佳 GRPO 配置达到同一验证目标的时间减少 29%。

Tags: Tencent Hy, LLM 强化学习, 临界批量大小, GRPO, PPO

[查看主帖原文](https://x.com/TencentHunyuan/status/2102948623751487950)