Jiantao Jiao, 53개 과제의 NVIDIA 벤치마크 SWE-Serve 발표
Jiantao Jiao는 NVIDIA 팀이 AI 에이전트가 추론 엔진을 개발하고 실제 모델을 서빙할 수 있는지 시험하기 위해 SWE-Serve를 만들었다고 밝혔다. 이 벤치마크는 실제 sgl_project 엔지니어링 작업에서 가져온 53개 과제로 구성된다.
#inference
모든 AI 뉴스 보기SambaNova, SN50가 RDU 디코드를 기존 GPU와 페어링해 프리미엄 추론을 제공한다고 밝혀
SambaNova는 SN50이 프리필을 위해 기존 GPU와 RDU 디코드를 페어링하여 프리미엄 추론용으로 구축되었다고 밝혔습니다. 70% 청구 가능 활용률 계획 가정 하에 6개월 내 ROI를 인용했습니다.