#model-deployment

Together AIがDedicated Model Inferenceにカナリアロールアウトを追加

Dedicated Model Inferenceでは、稼働中のエンドポイントの背後にあるモデルを、ダウンタイムなしでアップグレードできるようになった。トラフィックは段階的なゲートを経て移行し、p95レイテンシまたはエラー率が悪化した場合、メトリクスゲートがロールアウトを一時停止できる。