Did Codex Reset
GitHub

Artificial Analysis, Cyber Index를 세 벤치마크의 평균으로 산출하고 안전 거부는 0점으로 처리

Artificial Analysis

Artificial Analysis는 Cyber Index가 CWE-Bench-AA, DeepsecBench-AA, CyberGym-E2E-AA의 점수를 평균한 것이라고 밝혔다. 모델이 안전상의 이유로 거부한 과제는 0점이다. 이러한 안전 차단은 실패와 별도로 보고되므로, 거부와 모델이 과제를 시도했지만 성공하지 못한 경우를 구분할 수 있다.

채점 규칙은 Cyber Index 방법론에 있다. 전체 결과는 Artificial Analysis Cyber Index 평가 페이지에서 확인할 수 있다.

#artificial-analysis#cyber-index#ai-벤치마크#모델-안전

Artificial Analysis, 노트북과 워크스테이션 추론용 AA-AgentPerf-Local 오픈소스 공개

Artificial Analysis가 기록된 에이전트 세션을 재생해 로컬 추론 속도를 측정하는 AA-AgentPerf-Local을 오픈소스로 공개하고, 네 개 시스템의 초기 4-bit 결과를 발표했다. 32GB에 들어가는 모델에서 GeForce RTX 5090은 테스트한 다른 시스템보다 3.5배 넘게 빠르게 작업을 마쳤다.

Artificial Analysis: GPT-6.1 Sol, GPT-6 Astra보다 1점 낮고 비용은 4분의 1 미만

Artificial Analysis에 따르면 GPT-6.1 Sol은 7일 뒤 GPT-6 Sol을 대체하며, Intelligence Index에서 GPT-6 Sol보다 4점 높고, 최대 노력 수준에서 작업당 비용은 0.72달러로 GPT-6 Astra의 3.26달러보다 낮다. 정가는 GPT-6 Sol과 같은 100만 토큰당 2달러/10달러이며, 캐시 읽기 할인은 90%에서 95%로 올랐다.