SambaNova、SambaCloud上のMiniMax M3向けにプロンプトキャッシングを提供開始
SambaNovaはSambaCloud上のMiniMax M3向けにプロンプトキャッシングを提供開始した。コード変更なしで入力コストを90%削減して100万キャッシュトークンあたり0.06ドルにし、最初のトークン生成時間(TTFT)を35%〜88%改善する。
SambaNovaはSambaCloud上のMiniMax M3向けにプロンプトキャッシングを提供開始した。コード変更なしで入力コストを90%削減して100万キャッシュトークンあたり0.06ドルにし、最初のトークン生成時間(TTFT)を35%〜88%改善する。