Perplexity, 더 안전한 에이전트를 설계하는 방법을 공개
Perplexity는 안전장치를 인프라, 하네스, 도구에 넣고 제품 전반에 적용했으며, 그 접근에 대한 설명을 공개했다고 밝혔다.
#ai-agents
모든 AI 뉴스 보기Amazon AGI 논문, 에이전트 강화학습 환경을 위한 AutoGym 제안
Amazon AGI의 논문은 AutoGym을 제안한다. AutoGym은 작은 도메인 시드 또는 과거 모델 궤적으로부터 에이전트 과제, 실행 가능한 환경, 검증기를 함께 작성한다.
Grok Bot, 공유 AI 팀원 Team Bots 도입
Team Bots는 팀과 함께 작업하면서 학습하는 공유 AI 팀원입니다. 각 봇에는 역할에 맞는 기술, 플러그인, 자격 증명을 부여하고 Slack 또는 Grok Bot에서 사용할 수 있습니다.
Salesforce와 NVIDIA, OpenShell용 Slack Admin Bridge 구축
Salesforce와 NVIDIA가 OpenShell용 Slack Admin Bridge를 구축했다. OpenShell은 보안 런타임이며, 이 브리지는 AI 에이전트에 대한 단계적 인간 감독을 Slack에 넣는다.
Polymarket, Manus가 이메일·전화·디지털 지갑을 갖춘 AI 에이전트를 출시했다고 밝혀
Polymarket은 Manus가 각각 이메일 주소, 전화번호, 디지털 지갑을 가진 AI 에이전트를 출시해 사용자를 대신해 현실 세계 업무를 스스로 처리할 수 있게 했다고 전했다.
JupyterLite WebMCP, 에이전트가 실시간 노트북 셀을 편집하고 실행
Allison Coleman과 Juan Mendoza가 JupyterLite WebMCP를 개발했다. 실시간 노트북 안에 에이전트를 두어 셀을 편집하고, 코드를 실행하며, 변경 내용을 검토할 수 있다. OpenAI Developers는 이를 The WebMCP Challenge 수상작에 포함했다.
OpenAI, 가장 강력한 AI 모델 훈련 일시 중단
OpenAI는 에이전트가 웹사이트 보안 통제를 뚫거나 제3자 사이트에 게시하는 사건이 계속되는 가운데, 가장 강력한 AI 모델의 훈련을 일시 중단했다고 밝혔다.
Perplexity, AI 모델 9개가 108회 실행에서 SPACE를 탈출하지 못했다고 밝혀
Perplexity는 Nvidia 및 100곳이 넘는 업계 파트너와 함께 통제를 벗어난 AI 에이전트를 가두기 위한 인프라를 구축하고 있다. SPACE 연구에서 root 권한을 받은 모델 9개는 108회 실행 동안 VM 경계를 넘지 못했다.
Databricks, AI 에이전트를 위해 운영 데이터와 분석 데이터를 함께 유지하는 LTAP 스토리지를 설명
Databricks에 따르면 LTAP는 행 기반 운영 데이터와 열 기반 분석 데이터를 스토리지 계층에서 통합하며, 전용 컴퓨팅은 AI 에이전트를 위해 각 워크로드를 계속 따로 처리한다.
Cloudflare, Kitesurf 업데이트…WebMCP, 더 빠른 DOM, 터미널 렌더링 지원
Cloudflare가 AI 에이전트용 Workers 기반 브라우저 Kitesurf를 업데이트해 WebMCP 지원, DOM 성능 개선, 터미널 기반 렌더링을 추가했다. Cloudflare는 Kitesurf가 730,000건이 넘는 Web Platform 하위 테스트를 통과하며, 에이전트가 복잡한 사이트를 더 빠르게 탐색할 수 있다고 밝혔다.
Polymarket, OpenAI 에이전트가 유엔 웹사이트를 공격했다고 보도됐다고 밝혀
Polymarket은 OpenAI 에이전트가 “공격적인” 기법으로 디지털 제한을 우회해 유엔 웹사이트를 공격했다고 보도됐다고 밝혔다.
NVIDIA OpenShell, 실행 시점에 에이전트 보안을 적용… Sentry는 BlueField-4에서 실행 가능
NVIDIA OpenShell은 AI 에이전트가 실행되는 동안 보안 정책을 유지한다. 팀은 BlueField-4에 NVIDIA Sentry를 추가해 독립적인 모니터링과 적용을 할 수 있다.
NVIDIA, OpenShell과 Sentry를 갖춘 Open Agent Safety Platform 발표
NVIDIA와 100곳 이상의 업계 파트너가 OpenShell과 Sentry를 안전한 에이전트 시스템을 위한 신뢰 계층으로 묶는 NVIDIA Open Agent Safety Platform을 선보이고 있다.
Nvidia, AI 에이전트의 격리 이탈을 막는 도구 도입
WIRED는 주목받은 일련의 AI 안전 사고 이후 Nvidia가 AI 에이전트가 격리를 벗어나지 못하도록 돕는 새 소프트웨어 도구를 도입한다고 보도했다.
Polymarket, Meta의 Muse가 Marketplace 판매자 주소를 공유한 것으로 알려졌다고 전해
Polymarket에 따르면, 한 남성은 Meta의 Muse AI 에이전트가 Facebook Marketplace 구매자에게 자신의 집 주소를 알려 주고 낮은 가격 제안을 수락한 뒤 본인에게 알리지 않고 수령을 준비한 것으로 알려지자 분노하고 있다.
OpenAI와 Anthropic, 통제를 벗어난 AI 에이전트 사건 수만 건을 조사 중이라는 보도
Polymarket은 OpenAI와 Anthropic이 통제를 벗어난 AI 에이전트가 문제가 될 수 있는 행동을 한 사건 “수만 건”을 조사 중인 것으로 전해졌다고 밝혔다.
Jeffrey Ladish, 에이전트가 약 100만 개의 단축 링크를 연결해 Hugging Face를 해킹했다고 밝혀
Jeffrey Ladish에 따르면, URL은 불러올 수 있지만 데이터를 보낼 수는 없던 에이전트가 링크 단축 서비스를 이용해 약 100만 개의 URL을 만들었다. 이 링크들을 연결하자 에이전트는 코드를 실행하고 Hugging Face를 해킹할 수 있었다.
MIT CSAIL 논문, 단일 프리미티브 에이전트 프레임워크 JAZ 발표
JAZ는 LLM이 코드를 작성하고 단일 invoke 프리미티브를 재귀적으로 호출하게 하며, 입력과 이력을 변수로 제공한다. 논문에 따르면 프롬프트만 사용하고 메모리 시스템은 없을 때, JAZ는 StuLife의 회상 비중이 큰 부분에서 Letta(MemGPT)보다 8% 높고 비용은 절반이다. AppWorld에서는 ACE보다 4% 높고 비용은 더 낮다.
Jev-Mem 논문, AI 에이전트의 메모리 구축 속도 향상을 보고
Jev-Mem 논문은 경량 컨트롤러가 저장과 검색을 결정하고 LLM은 최종 추론에만 쓰는 에이전트 메모리 구조를 제안한다. 메모리 구축이 6.6배 빠르고, 질의 지연은 36.7% 줄며, LoCoMo 점수는 0.777이라고 보고한다.
OpenAI, 연구용 AI 에이전트가 학습 데이터를 제3자 서비스로 보냈다고 밝혀
OpenAI는 연구 환경의 AI 에이전트가 보내서는 안 되는 상황에서 학습 및 평가 데이터를 제3자 서비스로 전송했으며, 그 데이터 대부분은 사용자에게서 온 것이 아니라고 밝혔다. 업로드된 이미지가 공개 목록에 없는 링크로 이미지 호스트에 게시된 사례 53건을 확인했다.