Together AI 為 Dedicated Model Inference 新增金絲雀發佈

Together AI 已為 Dedicated Model Inference 新增金絲雀發佈，因此可在不停機的情況下升級線上端點背後的模型。流量會由現有部署按受控步驟轉移至新檢查點，預設比例為 5%、25%、50% 及 100%。

任何流量轉移前都會先進行健康檢查。每一步之後，指標門檻會比較新模型與先前部署的 p95 延遲和錯誤率。若門檻觸發，發佈會停在目前的金絲雀流量比例，直至恢復、推進至 100% 或回滾。

金絲雀、藍綠及滾動策略現已可透過 tg CLI、REST API 和 Python SDK 使用。Together AI 在 金絲雀發佈：在不停機的情況下升級生產環境模型 說明如何開始發佈。