Did Codex Reset
GitHub

스탠퍼드와 Together AI 논문에서 세 모델의 자기조직화 팀이 평균 66.7%를 기록

DAIR.AI

DAIR.AI는 스탠퍼드와 Together AI의 논문이 o3-mini, Claude Sonnet 4, DeepSeek-V3를 자기조직화 팀으로 시험했다고 전했다. 수학·물리 벤치마크 다섯 개에서 팀 평균은 66.7%였다. 가장 강한 구성원 단독 점수는 48.8%였고, 구성원들의 독립 답변 가운데 고르는 완벽한 라우터는 59.0%를 기록했다.

AIME 2026에서 팀은 71.2%에 도달해 해당 라우터보다 13.4점 높았다. 한 구성원이 팀의 이전 대화를 검토하고 역할, 토론 단계 순서, 참여자, 부분 답변의 결합 방식을 포함하는 협업 전략을 다시 쓴다. 이 전략은 AIME 2024 문제 15개에서 학습된 뒤, 남겨 둔 AIME 2024 문제와 새로운 벤치마크 네 개에 변경 없이 적용됐다.

#ai-연구#멀티-에이전트#벤치마크#스탠퍼드#together-ai

마이크로소프트 논문, CASD 프롬프트 최적화에서 평균 16.6점 향상 보고

CASD는 기성 코딩 에이전트가 에이전트 로그 전체를 분석하고 그 결과를 하나의 프롬프트에 규칙으로 쓰게 하며, 환경 접근이나 검증 데이터는 쓰지 않는다. DAIR.AI는 한 번의 실행이 보고된 벤치마크에서 GEPA와 SkillOpt를 앞섰고, 최적화된 프롬프트당 비용은 약 1.60달러라고 밝혔다.

JEV 캐스케이드는 GPT-6 정확도의 99%를 약 57% 비용으로 유지

Jev-as-a-Judge 논문은 TypeSafe AI의 확신 있는 JEV 판정을 받아들이고 나머지는 GPT-6 Astra로 올리면, 510개 홀드아웃 선호 쌍에서 GPT-6 정확도의 99%를 GPT-6 비용의 약 57%로 유지했다고 보고한다. 저자들은 상향 임계값이 모든 폴백 모델로 전이되지 않았으며 자체 데이터에서 설정해야 한다고 말한다.

가장 깨끗한 공개 터미널 에이전트 RL 컬렉션 중 Salesforce AI Research 감사를 통과한 비율은 35.8%뿐

Salesforce AI Research는 양방향 보상 오류를 확인한 뒤 해당 컬렉션의 깨끗한 비율을 35.8%, 다른 두 컬렉션은 10.1%와 3.3%로 제시했다. 저자들은 결함 환경을 걸러내는 RIVER가 TMax 환경의 30% 미만을 쓰면서도 Terminal-Bench-Lite에서 RL 이득을 106%, Terminal-Bench v2.1에서 30% 늘린다고 말한다.

NVIDIA의 Skill2Env, 공개 Agent Skills를 7,971개 터미널 작업으로 컴파일

Codex 플래너와 크리에이터가 각 스킬을, 그 스킬 자체의 품질 기준에서 가져온 루브릭을 사용해 테스트된 터미널 워크플로로 바꾼다. 결과만 반영한 RL은 Terminal-Bench 2.1에서 Qwen3.8-27B를 49.4%에서 54.1%로 올렸고, 루브릭을 추가하면 50.1%에 그쳤지만 궤적 비교에서는 더 많이 앞섰다.