Pedro Cuenca 通过 llama.cpp 在 RTX 6000 与 M5 笔记本上跨硬件运行 MiMo 2.6 Flash
Pedro Cuenca 展示了在 RTX 6000 GPU 与 M5 笔记本之间通过 10 GbE 网络跨硬件运行 MiMo 2.6 Flash 原生 mxfp4 权重，利用 llama.cpp 的开箱即用支持，推理速度达到每秒 40 个 token。
#inference
查看全部AI快讯Prime Intellect 推出 Prime Inference
Prime Intellect 推出 Prime Inference，并表示该服务已为强化学习及客户专属部署处理了数万亿 token。
Jiantao Jiao 发布 SWE-Serve，一项包含 53 项任务的 NVIDIA 基准
Jiantao Jiao 表示，NVIDIA 团队构建了 SWE-Serve，用以测试 AI 智能体能否开发推理引擎并服务真实模型。该基准包含 53 项任务，取自 sgl_project 的真实工程工作。
SambaNova 表示 SN50 将 RDU 解码与现有 GPU 配对用于高端推理
SambaNova 表示 SN50 专为高端推理打造，通过将 RDU 解码与现有 GPU 配对用于预填充。该公司称在 70% 可计费利用率规划假设下，6 个月内可实现投资回报。