Jiantao Jiao、53タスクのNVIDIAベンチマークSWE-Serveを発表
Jiantao Jiaoは、NVIDIAのチームが、AIエージェントが推論エンジンを開発し、実際のモデルをサーブできるかを確かめるためSWE-Serveを構築したと述べている。このベンチマークは、sgl_projectの実際のエンジニアリング作業から取られた53のタスクで構成される。
#inference
すべてのAIニュースを見るSambaNova、SN50はRDUデコードを既存GPUと組み合わせてプレミアム推論を実現と発表
SambaNovaは、SN50がプリフィル用の既存GPUとRDUデコードを組み合わせてプレミアム推論向けに構築されていると述べました。同社は70%の課金可能稼働率の計画仮定で6ヶ月でのROIを挙げました。