Lambda 於模型卡加入 NVIDIA AI AIPerf 基準測試
Lambda 宣布更新其模型卡,新增基於 NVIDIA AI 的 AIPerf 基準測試套件在 Lambda 最低硬件配置上測得的基準結果。
這些指標旨在評估模型部署在不同用戶並發閾值下的表現,評估系統互動性,並在單並發 Token 吞吐量之外指明何時需要增加副本。
Lambda 宣布更新其模型卡,新增基於 NVIDIA AI 的 AIPerf 基準測試套件在 Lambda 最低硬件配置上測得的基準結果。
這些指標旨在評估模型部署在不同用戶並發閾值下的表現,評估系統互動性,並在單並發 Token 吞吐量之外指明何時需要增加副本。