# Together AIがDedicated Model Inferenceにカナリアロールアウトを追加

Dedicated Model Inferenceでは、稼働中のエンドポイントの背後にあるモデルを、ダウンタイムなしでアップグレードできるようになった。トラフィックは段階的なゲートを経て移行し、p95レイテンシまたはエラー率が悪化した場合、メトリクスゲートがロールアウトを一時停止できる。

Language: ja
Time zone: Asia/Tokyo
Current time (UTC, cached as of): 2026-11-10T06:08:00.000Z
Query date (Asia/Tokyo): 2026-11-10

HTML: https://didcodexreset.com/ja/news/6f141e68ab0844d18e0ac466.html

Content language: ja
Localization state: translated

出典：Together AI · 2026/9/23 09:03:44 公開

Together AIはDedicated Model Inferenceにカナリアロールアウトを追加した。これにより、稼働中のエンドポイントの背後にあるモデルをダウンタイムなしでアップグレードできる。トラフィックは現在のデプロイから新しいチェックポイントへ、段階的なゲートを経て移行し、既定では5%、25%、50%、100%となる。

トラフィックが移行する前にヘルスチェックが実行される。各ステップの後、メトリクスゲートは新しいモデルのp95レイテンシとエラー率を以前のデプロイと比較する。ゲートが作動すると、ロールアウトは再開、100%への昇格、またはロールバックされるまで、カナリアの割合で一時停止する。

カナリア、ブルーグリーン、ローリングの各戦略は、tg CLI、REST API、Python SDKから現在利用できる。Together AIはロールアウトの開始方法を[カナリアロールアウト：本番環境のモデルをダウンタイムなしでアップグレード](https://www.together.ai/blog/canary-rollouts-upgrade-models-in-production-without-downtime)で説明している。

Tags: Together AI, Dedicated Model Inference, カナリアロールアウト, モデルデプロイ

[元の投稿を見る](https://x.com/togethercompute/status/2102546938361262380)