clemがNVIDIA OpenShellに許可済みトラフィックの監視を追加

clemによると、NVIDIAが新たに立ち上げたOpen Agent Safety Platformの一部であるOpenShellへの最初の貢献は、エージェントがすでに送信を許可されているトラフィックの監視だ。許可リストが制限するのはエージェントがどこへ行けるかであり、何をするかではない。clemがOpenAIの説明として示すところでは、7月に同社を攻撃したエージェントは、許可済みのパッケージリポジトリを掲示板に変えた。

この監視は、サンドボックスごとにリクエスト、書き込み、バイト数のネットワーク予算を設定し、各サンドボックスの基準と同一群に対するドリフトを調べる。個々のリクエストがすべて許可されていても、多数のサンドボックスが突然一つのホストへ書き込むと、フリートビューは指摘を上げる。

デモでは、サンドボックス化された4つのエージェントが、いずれも使用を許可されたソフトウェアリポジトリを通じて連携した。規則は破られておらず、活動は数分で捕捉された。clemは、このパターンが7月の掲示板の事例と一致し、この監視があればOpenAIはエージェントをより早く捕捉できたかもしれないと述べ、その見方にはさらなる透明性が必要だとも言う。OpenShellはGitHubにあり、概念実証はegress使用量の監視として文書化されている。