Ramine Roane 氏、AMD は 90 日間に vLLM コアへ 502 件コミットしたと述べる
Ramine Roane 氏は、AMD が現在 vLLM へのコード貢献で首位の企業だとし、90 日間のコアコミットは 502 件、全組織による貢献の 13% で、Nvidia の 4 倍近くだと述べた。同氏は Red Hat、IBM、Embedded LLM、Inferact の功績も認めた。
#vllm
すべてのAIニュースを見るGoogle Gemma は、vLLM で DiffusionGemma を Jev のように動作させられると述べている
Google Gemma によると、vLLM で応答テンプレートを使ってキャンバスを初期化すると、DiffusionGemma は1回のデノイジングステップで、はい／いいえ、多肢選択、スコア付きの質問について信頼度スコアと確率分布を返せる。
PyTorch FoundationのブログがvLLM向けのハードウェア非依存レイヤーを紹介
IBM、Meta、Hugging Faceのコントリビューターが、多様なハードウェア上で多様なモデルを実行するユーザー向けに、最先端の性能と移植性の両立を目指すハードウェア非依存レイヤーを紹介する。
vLLMがPyNvVideoCodecを統合し、動画デコードをGPU NVDECにオフロード
vLLMは、動画デコードをCPUからGPU NVDECにオフロードするためPyNvVideoCodecを統合したと述べ、8×H100で2倍以上のスループットを報告している。プロジェクトによると、この変更はCUDA vLLMリリースに同梱される。
Qwen-Image-2.1がvLLM-Omniでday-0サポートを獲得
vLLMは、@Alibaba_QwenのQwen-Image-2.1がvLLM-Omniでday-0サポートを得たと述べ、生成、編集、透明画像向けの7.1B DiTとQwen3-VL-8Bの組み合わせだと説明した。QwenはvLLMに感謝し、1つのモデルですぐにサーブできると述べた。