# Together AI, Dedicated Model Inference에 카나리 롤아웃 추가

Dedicated Model Inference는 이제 가동 중인 엔드포인트의 모델을 다운타임 없이 업그레이드할 수 있다. 트래픽은 단계별로 전환되며, p95 지연 시간이나 오류율이 악화되면 메트릭 게이트가 롤아웃을 일시 중지할 수 있다.

Language: ko
Time zone: Asia/Seoul
Current time (UTC, cached as of): 2026-11-10T06:08:00.000Z
Query date (Asia/Seoul): 2026-11-10

HTML: https://didcodexreset.com/ko/news/6f141e68ab0844d18e0ac466.html

Content language: ko
Localization state: translated

출처: Together AI · 2026. 9. 23. 09:03:44 게시

Together AI가 Dedicated Model Inference에 카나리 롤아웃을 추가해, 가동 중인 엔드포인트의 모델을 다운타임 없이 업그레이드할 수 있다. 트래픽은 현재 배포에서 새 체크포인트로 단계별로 이동하며, 기본값은 5%, 25%, 50%, 100%다.

트래픽이 전환되기 전에 상태 검사가 실행된다. 각 단계 이후 메트릭 게이트는 새 모델의 p95 지연 시간과 오류율을 이전 배포와 비교한다. 게이트가 작동하면 롤아웃은 재개되거나 100%로 승격되거나 롤백될 때까지 카나리 비율에서 일시 중지된다.

카나리, 블루-그린, 롤링 전략은 지금 tg CLI, REST API, Python SDK에서 사용할 수 있다. Together AI는 [카나리 롤아웃: 다운타임 없이 프로덕션 모델 업그레이드](https://www.together.ai/blog/canary-rollouts-upgrade-models-in-production-without-downtime)에서 롤아웃을 시작하는 방법을 설명한다.

Tags: Together AI, Dedicated Model Inference, 카나리 롤아웃, 모델 배포

[원문 게시물 보기](https://x.com/togethercompute/status/2102546938361262380)