TL;DR: プロンプトインジェクションを「モデルの賢さ」ではなく「システム設計」で防ぐ手法CaMeLです。AgentDojoで77%のタスクを、証明可能なセキュリティ付きで解決しました。 タイトル: Defeating Prompt Injections by Design URL: ポイント ・🧠 Privileged LLMは計画だけを書き、信頼できないデータは一切見ません ・🔒 Quarantined LLMは非信頼データを構造化するだけで、ツールは持ちません ・🏷️ 全ての値に出所と読み手のcapabilityを付与します ・📜 ツール呼び出し前にPythonのセキュリティポリシーで検査します ・📊 Claude 3.5 Sonnetで攻撃成功は0件。次点の防御は8件でした ・⚖️ 有用性は84%から77%へ。トークンは約2.8倍に増えます ・🕳️ 例外や時間などのサイドチャネルは課題として残ります 信頼できないモデルの周りに安全なシステムを作るという発想が、エージェントの本番運用で重要になりそうです。 #プロンプトインジェクション# #AIエージェント#