Did Codex Reset
GitHub

BRIDGE ASR 2.0, 긴 다국어 대화에서 음성 인식 모델 23종 평가

elvis

이 벤치마크는 모델 23종을 시험한다. code-switch F1 점수는 인도계 언어 문장에 섞인 영어 단어가 영어로 유지되는지를 확인하며, "data backup"을 데바나가리 문자로 옮긴 전사 결과는 0점을 받는다.

리더보드는 언어와 지표별로 필터링할 수 있다. 방법론과 평가 데이터는 BRIDGE ASR 2.0 페이지에 공개되어 있으며, elvis는 연구자들이 이 벤치마크를 시험해 어디서 깨지는지 찾아 주기를 원한다고 밝혔다.

#bridge-asr#음성-인식#벤치마크#humynlabs

Taste-Bench 최고 모델, 더 나은 방향을 59.7% 선택

Microsoft와 동료들의 논문에 따르면, 최고 모델은 긴 엔지니어링·연구 과제에서 열려 있는 더 나은 방향을 고르는 Taste-Bench 문항의 59.7%를 맞힌다. 나중에 나오는 근거로 판가름나는 분기점은 훨씬 어렵고, 추론 예산을 늘려도 정확도는 오르지 않으며, 교사의 결과 판단을 증류하면 홀드아웃 SWE-bench Pro 성공률이 개선된다.

EvoOntology 논문, 자기진화 온톨로지 계층이 DDR-Bench와 BIRD에서 데이터 에이전트 점수를 끌어올린다고 보고

elvis (@omarsar0)가 데이터 에이전트를 위한 자기진화 온톨로지 계층으로 MCP 서버로 제공되는 EvoOntology에 관한 논문을 공유했다. 게시물에 따르면 DDR-Bench 정확도가 6개 백본에서 평균 17.8포인트 상승하며 GPT-5.5의 26.7포인트를 포함하고, BIRD 실행 정확도는 7.4포인트 상승한다.

elvis는 Agora-2로 최대 20명의 인간과 에이전트가 하나의 실시간 시뮬레이션 세계를 공유할 수 있다고 밝혔다

elvis는 월드 모델 Agora-2가 이제 최대 20명의 인간과 에이전트를 하나의 시뮬레이션 세계에 동시에 넣을 수 있다고 밝혔다. elvis는 이를 로봇, 자율주행차, 사이버 방어 에이전트를 함께 훈련하고, 실제 환경에 적용하기 전에 에이전트 담합을 연구할 수 있는 공간으로 설명했다.

Wiki Foundation Model, 연결된 마크다운 위키에서 에이전트 메모리 검색

WFM은 LLM 위키를 그래프로 바꾸고, 질의에 조건화된 메시지 전달로 검색한다. 각 페이지의 텍스트와 페이지 사이 링크가 함께 결과를 만든다. 연구팀은 GPU 간 학습 프로토콜이 10.5배 더 빠르게 학습한다고 밝혔으며, 에이전트 메모리와 다중 홉 추론을 다루는 벤치마크 5개에서 강한 결과를 보고했다.