SambaNova 於 SambaCloud 為 MiniMax M3 推出提示詞快取
SambaNova 已於 SambaCloud 為 MiniMax M3 啟用提示詞快取，無需進行任何代碼修改。
SambaNova 於其公告中表示，在長上下文 Agent 工作流中重用快取前綴，可將首字延遲（TTFT）加快 35% 至 88%，整體速度最高提升 4.7 倍，並將輸入成本降低 90% 至每百萬快取 Token 0.06 美元。
相關AI快訊
SambaNova 表示 SN50 將 RDU 解碼與現有 GPU 配對，用於高階推論
SambaNova 表示 SN50 專為高階推論而設，透過將 RDU 解碼與現有 GPU 配對以進行預填充。該公司引用在 70% 可計費使用率規劃假設下，6 個月內達致 ROI。
Hao AI Lab 將 FastVideo FastH3 引入消費級硬件並發布 FastH3 Trim
Hao AI Lab 宣布 FastVideo FastH3 現已支援在 NVIDIA RTX GPU 及 Apple Silicon 等單部消費級裝置上運行，並推出只需 8 GB 記憶體的輕量模型 FastH3 Trim。
Pruna AI 的 P-Video-2 Pro 現已在 Replicate 上運行
Replicate 正在託管 Pruna AI 的 P-Video-2 Pro，並將其置於偏好與速度、偏好與價格的帕累托前沿。Design Arena 表示，Quality 與 Speed 兩個版本在其圖生影片排行榜上並列第二。
GPT-6 提示快取可透過斷點與預熱調整
OpenAI Developers 表示，應用程式可用明確的快取斷點選擇可重用的提示前綴，在保留已快取上下文的同時調整推理力度與工具可用性，並預熱共享上下文，讓回應更快開始。
OpenAI Developers 改善 API 中 GPT-6 的提示快取
預設快取命中率提高，讓更多 GPT-6 輸入 token 可獲最高 90% 的快取輸入折扣。OpenAI Developers 表示，這項改動有助代理運行更快、成本更低。