Did Codex Reset
GitHub

Artificial Analysis, OpenAI Web Search의 작업당 소요 시간 약 31초로 측정

Artificial Analysis

Artificial Analysis의 벤치마크에 따르면 OpenAI Web Search의 작업당 소요 시간(Time per Task)은 검색 시간과 모델 처리 시간을 합쳐 약 31초를 기록했다. 이는 평가된 26개 제품 중 14위에 해당하며, Octen의 약 16초부터 Firecrawl의 62초까지 분포한 테스트 범위의 중간 수준이다.

Artificial Analysis는 OpenAI가 검색 시간을 직접 공개하지 않는다고 지적했다. 해당 벤치마크는 OpenAI의 처리 시간이 포함된 스트림 이벤트를 통해 검색 지속 시간을 측정하므로 검색 부문 수치는 상한선을 의미한다.

#artificial-analysis#openai#openai-web-search#벤치마크

Artificial Analysis, 검색 인덱스에서 OpenAI Web Search에 74점 부여

Artificial Analysis가 검색 인덱스(Search Index)에서 OpenAI Web Search를 벤치마크한 결과, 해당 도구는 74점을 기록해 공급업체 중 5위, 테스트된 26개 제품 중 7위를 차지했다. 중간 추론 수준의 GPT-5.6 Luna에서 실행되었으며, 내장 검색 도구의 작업당 평균 비용은 약 0.05달러였다.

Artificial Analysis, 지능 지수에서 Claude Haiku 5.5에 43점 부여

Artificial Analysis는 Claude Haiku 5.5에 이전 Haiku보다 26점 상승한 43점을 부여하고, 100만 토큰의 컨텍스트 창을 지원한다고 밝혔다. 이번 결과에는 토큰 사용량, 터미널 작업, 사실 정확도 및 해당 기관이 과소평가되었을 가능성이 높다고 밝힌 AutomationBench 점수도 포함된다.

Artificial Analysis, Mistral Large 4 평가 결과 공개… 512k 컨텍스트 및 API 가격 책정

Artificial Analysis가 Mistral Large 4 Preview를 평가했다. 해당 모델은 Intelligence Index에서 38점, Cyber Index에서 50%를 기록했다. Mistral AI는 512k 컨텍스트를 지원하는 이 모델을 100만 입력 토큰당 1.36달러, 100만 출력 토큰당 4.18달러에 제공하며, 출시 후 첫 2주 동안 50% 할인 혜택을 적용한다.

앤트그룹, 'Ling 3.1 Flash' 출시... 아티피셜 애널리시스 지능 지수 41점 기록

앤트그룹이 총 매개변수 5,600억 개와 100만 토큰 컨텍스트 창을 지원하는 추론 모델 'Ling 3.1 Flash'를 출시했습니다. 아티피셜 애널리시스는 지능 지수 v4.3 평가에서 이 모델에 41점을 부여하며 에이전트 성능과 토큰 효율성의 뚜렷한 개선을 짚었습니다.

Artificial Analysis, 노트북과 워크스테이션 추론용 AA-AgentPerf-Local 오픈소스 공개

Artificial Analysis가 기록된 에이전트 세션을 재생해 로컬 추론 속도를 측정하는 AA-AgentPerf-Local을 오픈소스로 공개하고, 네 개 시스템의 초기 4-bit 결과를 발표했다. 32GB에 들어가는 모델에서 GeForce RTX 5090은 테스트한 다른 시스템보다 3.5배 넘게 빠르게 작업을 마쳤다.