Together AI, Dedicated Model Inference에 카나리 롤아웃 추가
Dedicated Model Inference는 이제 가동 중인 엔드포인트의 모델을 다운타임 없이 업그레이드할 수 있다. 트래픽은 단계별로 전환되며, p95 지연 시간이나 오류율이 악화되면 메트릭 게이트가 롤아웃을 일시 중지할 수 있다.
Dedicated Model Inference는 이제 가동 중인 엔드포인트의 모델을 다운타임 없이 업그레이드할 수 있다. 트래픽은 단계별로 전환되며, p95 지연 시간이나 오류율이 악화되면 메트릭 게이트가 롤아웃을 일시 중지할 수 있다.