vLLM 集成 PyNvVideoCodec,将视频解码卸载至 GPU NVDEC
vLLM 表示已集成 PyNvVideoCodec,将视频解码从 CPU 卸载至 GPU 的 NVDEC。
据该项目称,结果是在 8×H100 上实现 2x+ 吞吐量,CPU 瓶颈已消除。该项目表示,这对大规模视频字幕生成(AV 训练、元数据)很重要,并且随 CUDA vLLM 发行版发布。
vLLM 表示已集成 PyNvVideoCodec,将视频解码从 CPU 卸载至 GPU 的 NVDEC。
据该项目称,结果是在 8×H100 上实现 2x+ 吞吐量,CPU 瓶颈已消除。该项目表示,这对大规模视频字幕生成(AV 训练、元数据)很重要,并且随 CUDA vLLM 发行版发布。