vLLMがPyNvVideoCodecを統合し、動画デコードをGPU NVDECにオフロード
vLLMは、動画デコードをCPUからGPU NVDECにオフロードするためPyNvVideoCodecを統合したと述べ、8×H100で2倍以上のスループットを報告している。プロジェクトによると、この変更はCUDA vLLMリリースに同梱される。
vLLMは、動画デコードをCPUからGPU NVDECにオフロードするためPyNvVideoCodecを統合したと述べ、8×H100で2倍以上のスループットを報告している。プロジェクトによると、この変更はCUDA vLLMリリースに同梱される。