# Together AI 为 Dedicated Model Inference 新增金丝雀发布

Dedicated Model Inference 现在可以在不停机的情况下升级线上端点背后的模型。流量按受控步骤切换；若 p95 延迟或错误率变差，指标门禁可以暂停发布。

Language: zh-CN
Time zone: Asia/Shanghai
Current time (UTC, cached as of): 2026-11-10T05:23:00.000Z
Query date (Asia/Shanghai): 2026-11-10

HTML: https://didcodexreset.com/zh/news/6f141e68ab0844d18e0ac466.html

Content language: zh-CN
Localization state: translated

来源：Together AI · 发布于 2026/9/23 08:03:44

Together AI 已为 Dedicated Model Inference 加入金丝雀发布，线上端点背后的模型因此可以在不停机的情况下升级。流量按受控步骤从当前部署切到新检查点，默认比例为 5%、25%、50% 和 100%。

任何流量切换之前都会先做健康检查。每一步之后，指标门禁会把新模型的 p95 延迟和错误率与上一部署对比。如果门禁触发，发布会停在当前金丝雀流量比例，直到恢复、提升到 100% 或回滚。

金丝雀、蓝绿和滚动策略现已可通过 tg CLI、REST API 和 Python SDK 使用。Together AI 在[金丝雀发布：在不停机的情况下升级生产环境中的模型](https://www.together.ai/blog/canary-rollouts-upgrade-models-in-production-without-downtime)中说明如何开始一次发布。

Tags: Together AI, Dedicated Model Inference, 金丝雀发布, 模型部署

[查看主帖原文](https://x.com/togethercompute/status/2102546938361262380)