Together AI 为 Dedicated Model Inference 新增金丝雀发布

Together AI 已为 Dedicated Model Inference 加入金丝雀发布，线上端点背后的模型因此可以在不停机的情况下升级。流量按受控步骤从当前部署切到新检查点，默认比例为 5%、25%、50% 和 100%。

任何流量切换之前都会先做健康检查。每一步之后，指标门禁会把新模型的 p95 延迟和错误率与上一部署对比。如果门禁触发，发布会停在当前金丝雀流量比例，直到恢复、提升到 100% 或回滚。

金丝雀、蓝绿和滚动策略现已可通过 tg CLI、REST API 和 Python SDK 使用。Together AI 在金丝雀发布：在不停机的情况下升级生产环境中的模型中说明如何开始一次发布。