vLLM, PyNvVideoCodec을 통합해 비디오 디코딩을 GPU NVDEC로 오프로드
vLLM은 PyNvVideoCodec을 통합하여 비디오 디코딩을 CPU에서 GPU NVDEC로 오프로드했으며, 8×H100에서 2x+ 처리량을 보고했다고 밝혔습니다. 이 프로젝트는 해당 변경 사항이 CUDA vLLM 릴리스와 함께 제공된다고 전했습니다.
vLLM은 PyNvVideoCodec을 통합하여 비디오 디코딩을 CPU에서 GPU NVDEC로 오프로드했으며, 8×H100에서 2x+ 처리량을 보고했다고 밝혔습니다. 이 프로젝트는 해당 변경 사항이 CUDA vLLM 릴리스와 함께 제공된다고 전했습니다.