エージェントに正しい権限を渡していても、「その行動をやるべきか」は別の問題です🛡️ Securing AI Agents: Lessons From Real-World Deployment Uberが、自社のAIエージェントを守る多層防御の枠組み「Uber Secure AI」の設計と得られた教訓を公開しました。認可は「誰が行動できるか」に答えますが、エージェントには「この行動は要求に合っているか」を確かめる層も必要だという考え方です。 注目ポイントは3つです。 📜 振る舞いの契約を登録する AI Registryに、各エージェントのペルソナ、許可されたインテント、制約、リスク階層を記録します。Argusがコードやプロンプトから実際の能力を導出し、宣言との差を検査します。 ⚡ 小さなモデルで実行時に判定する AI Guardが提案された行動を評価し、実行前に判定を強制します。経路上に置くため、リモートの汎用LLMではなく、ローカルの小さな専用モデルを並列に動かします。 🎯 一番効いたのは、インテントと制約の限定 エージェントを明示的なインテントと制約に絞ると、操作された指示で動く余地が大きく減りました。代わりに柔軟性は下がります。開発者が回避しないよう、導入の簡単さも制御の一部と位置づけています。 ガードレールはリスクを下げるが排除はしない、と率直に書かれている点も参考になります。定量的な結果は示されていません。 #AIエージェント# #AIセキュリティ#