Pedro Cuenca 透過 llama.cpp 於 RTX 6000 與 M5 手提電腦跨硬件運行 MiMo 2.6 Flash
Pedro Cuenca 展示了在異構硬件上運行 MiMo 2.6 Flash：透過 10 GbE 網絡連接一張 RTX 6000 GPU 與一部 M5 手提電腦，該配置達到了每秒 40 個 token 的推理速度。
該運行直接使用模型原生 mxfp4 權重，並獲 llama.cpp 原生開箱即用支援。
相關AI快訊
Pedro Cuenca：tokenizers v1 (Rust) 快 3 至 30 倍，即將登陸 transformers
Pedro Cuenca 表示 tokenizers v1 (Rust) 快 3 至 30 倍，設有可選擇退出的 tokenization 訓練 crate、額外優化，以及廣泛基準測試。他表示即將登陸 transformers。
Prime Intellect 推出 Prime Inference
Prime Intellect 推出 Prime Inference，並表示該服務已為強化學習及專屬客戶部署處理了數萬億 token。
Jiantao Jiao 公布 SWE-Serve，一項含 53 項任務的 NVIDIA 基準測試
Jiantao Jiao 表示，NVIDIA 團隊建立了 SWE-Serve，用以測試 AI 代理能否開發推理引擎，並讓其服務真實模型。該基準測試包含 53 項任務，取材自 sgl_project 的實際工程工作。
SambaNova 表示 SN50 將 RDU 解碼與現有 GPU 配對，用於高階推論
SambaNova 表示 SN50 專為高階推論而設，透過將 RDU 解碼與現有 GPU 配對以進行預填充。該公司引用在 70% 可計費使用率規劃假設下，6 個月內達致 ROI。