SambaNova、SambaCloud上のMiniMax M3向けにプロンプトキャッシングを提供開始

SambaNovaは、コードの変更を必要とせずにSambaCloud上のMiniMax M3でプロンプトキャッシングを有効にした。

SambaNovaの発表によると、ロングコンテキストのエージェントワークフローでキャッシュされたプレフィックスを再利用することで、最初のトークン生成時間（TTFT）が35%〜88%高速化し、全体的な処理速度が最大4.7倍向上し、入力コストが90%削減されて100万キャッシュトークンあたり0.06ドルになる。