Together AI, Dedicated Model Inference에 카나리 롤아웃 추가

Together AI가 Dedicated Model Inference에 카나리 롤아웃을 추가해, 가동 중인 엔드포인트의 모델을 다운타임 없이 업그레이드할 수 있다. 트래픽은 현재 배포에서 새 체크포인트로 단계별로 이동하며, 기본값은 5%, 25%, 50%, 100%다.

트래픽이 전환되기 전에 상태 검사가 실행된다. 각 단계 이후 메트릭 게이트는 새 모델의 p95 지연 시간과 오류율을 이전 배포와 비교한다. 게이트가 작동하면 롤아웃은 재개되거나 100%로 승격되거나 롤백될 때까지 카나리 비율에서 일시 중지된다.

카나리, 블루-그린, 롤링 전략은 지금 tg CLI, REST API, Python SDK에서 사용할 수 있다. Together AI는 카나리 롤아웃: 다운타임 없이 프로덕션 모델 업그레이드에서 롤아웃을 시작하는 방법을 설명한다.