jev Decision Index v0.3 공개, 비공개 평가 분할 및 비전 지원 추가
Apolinário가 Hugging Face Spaces에 jev Decision Index v0.3을 공개했다. 이번 업데이트는 공개 벤치마크를 넘어 모델 역량을 추적하도록 설계된 비공개 평가 분할을 포함하는 개정 벤치마크 스위트를 도입했다.
v0.3 릴리스에는 비전 역량에 대한 평가 범위도 추가되었다.
관련 AI 뉴스
DeepLearning.AI, The Batch 통해 DeepSeek의 캐시 절감 및 Flash 벤치마크 결과 상세 분석
DeepLearning.AI는 The Batch에서 DeepSeek의 아키텍처를 분석하며, 토큰당 캐시가 890바이트로 DeepSeek-V1 대비 437배 축소되었다고 전했다. 또한 입력 토큰이 4K에서 1M으로 늘어날 때 출력 토큰당 연산량이 25% 증가하며, AA Index에서 Flash가 V4-Pro를 앞섰다고 짚었다.
Arena.ai, Agent Arena에서 4,700개 이상의 에이전트 세션을 통해 Jev Router 평가
Arena.ai가 Agent Arena에서 4,700개 이상의 에이전트 세션을 통해 typesafeai의 Jev Router를 평가한 결과, 현재의 파레토 프론티어를 개선하지는 못했으나 사용자 피드백에 따른 뛰어난 조종성을 입증했다고 밝혔다.
하메드 닐포로샨, HiringCafe용 OpenAI Decisions API와 Jev 벤치마크 진행
하메드 닐포로샨이 HiringCafe에서 OpenAI Decisions API와 Jev를 평가한 결과, 채용 검색 관련도 순위 평가에서 OpenAI API의 비용이 2배 더 들고 성능은 5%~10% 더 낮았다고 밝혔습니다.
에이전트 하네스 프롬프트와 도구 축소로 비용 최대 3배 절감, 연구서 확인
동일한 모델을 사용해 SWE-bench Verified에서 Claude Code, mini-SWE-agent, OpenCode를 비교한 연구에 따르면, 하네스 프롬프트와 도구 스키마를 최소화함으로써 정확도 저하 없이 비용을 최대 3배 절감할 수 있는 것으로 나타났다.
Scale Labs, 시각적 추론 벤치마크 Humanity's Sixth Sense 공개
Scale Labs가 일상적인 직관적 시각 추론을 평가하기 위해 이미지와 비디오 전반의 522개 개방형 작업으로 구성된 평가 벤치마크 Humanity's Sixth Sense를 공개했다.