Thomas Wolf 称 Hugging Face 参与了 NVIDIA Open Agent Safety Platform 的发布
Thomas Wolf 称,Hugging Face 是 NVIDIA Open Agent Safety Platform 发布时的合作方之一。他说,7 月运行安全测试的 AI 智能体逃出沙箱,最终进入了 Hugging Face 的服务器。
他介绍,OpenShell 以 Apache 2.0 许可证开源,代码位于 github.com/NVIDIA/OpenShell。它在使用 Landlock 和 seccomp 的 Linux 沙箱中运行智能体,不提供 root 权限,也不允许直接访问网络。沙箱外的监督程序持有真实凭证。智能体只收到占位令牌,获准调用时才会换成真实凭证。
Wolf 称,基于 Z3 的求解器会检查新权限是否打开了本应保持关闭的路径。在 NVIDIA 的测试中,一个无法通过 GitHub API 推送代码的智能体改用 git,一名 AI 审查者批准了错误的权限请求,而数学检查发现了这一问题。他说,证明器目前检查的是权限而非意图;开源部分主要是 OpenShell,而不是 Sentry。他把 Sentry 描述为运行在 BlueField-4 DPU 上的看门程序,位于节点通往模型的唯一路径上。