PyTorch FoundationのブログがvLLM向けのハードウェア非依存レイヤーを紹介
IBM、Meta、Hugging Faceのコントリビューターが、多様なハードウェア上で多様なモデルを実行するユーザー向けに、最先端の性能と移植性の両立を目指すハードウェア非依存レイヤーを紹介する。
#vllm
すべてのAIニュースを見るvLLMがPyNvVideoCodecを統合し、動画デコードをGPU NVDECにオフロード
vLLMは、動画デコードをCPUからGPU NVDECにオフロードするためPyNvVideoCodecを統合したと述べ、8×H100で2倍以上のスループットを報告している。プロジェクトによると、この変更はCUDA vLLMリリースに同梱される。
Qwen-Image-2.1がvLLM-Omniでday-0サポートを獲得
vLLMは、@Alibaba_QwenのQwen-Image-2.1がvLLM-Omniでday-0サポートを得たと述べ、生成、編集、透明画像向けの7.1B DiTとQwen3-VL-8Bの組み合わせだと説明した。QwenはvLLMに感謝し、1つのモデルですぐにサーブできると述べた。