# Together AI 為 Dedicated Model Inference 新增金絲雀發佈

Dedicated Model Inference 現可在不停機的情況下，升級線上端點背後的模型。流量會按受控步驟轉移；若 p95 延遲或錯誤率惡化，指標門檻可暫停發佈。

Language: zh-HK
Time zone: Asia/Hong_Kong
Current time (UTC, cached as of): 2026-11-10T06:09:00.000Z
Query date (Asia/Hong_Kong): 2026-11-10

HTML: https://didcodexreset.com/zh-hk/news/6f141e68ab0844d18e0ac466.html

Content language: zh-HK
Localization state: translated

來源：Together AI · 發布於 23/9/2026 08:03:44

Together AI 已為 Dedicated Model Inference 新增金絲雀發佈，因此可在不停機的情況下升級線上端點背後的模型。流量會由現有部署按受控步驟轉移至新檢查點，預設比例為 5%、25%、50% 及 100%。

任何流量轉移前都會先進行健康檢查。每一步之後，指標門檻會比較新模型與先前部署的 p95 延遲和錯誤率。若門檻觸發，發佈會停在目前的金絲雀流量比例，直至恢復、推進至 100% 或回滾。

金絲雀、藍綠及滾動策略現已可透過 tg CLI、REST API 和 Python SDK 使用。Together AI 在 [金絲雀發佈：在不停機的情況下升級生產環境模型](https://www.together.ai/blog/canary-rollouts-upgrade-models-in-production-without-downtime) 說明如何開始發佈。

Tags: Together AI, Dedicated Model Inference, 金絲雀發佈, 模型部署

[查看主帖原文](https://x.com/togethercompute/status/2102546938361262380)