Artificial Analysis 開源面向手提電腦與工作站推理的 AA-AgentPerf-Local
Artificial Analysis 已開源 AA-AgentPerf-Local。該工具透過重放已記錄的智能體會話來量度本地推理速度,並公布四套系統的初步 4-bit 結果。在能裝入 32 GB 的模型上,GeForce RTX 5090 的完成速度比其他受測系統快 3.5 倍以上。
Artificial Analysis 已開源 AA-AgentPerf-Local。該工具透過重放已記錄的智能體會話來量度本地推理速度,並公布四套系統的初步 4-bit 結果。在能裝入 32 GB 的模型上,GeForce RTX 5090 的完成速度比其他受測系統快 3.5 倍以上。