cv usk(@cv_usk):TL;DR: プロンプトインジェクションを「モデルの賢さ」ではなく「システム設計」で防ぐ手法CaMeLです。AgentDojoで77%のタスクを、証明可能なセキュリティ付きで解決しました。タイトル: Defeating Prompt Injections by Design URL: https://t.co/TyLSjMlPNQ ポイント・🧠 Privileged LLMは計画だけを書き、信頼できないデータは一切見ません・🔒 Quarantined LLMは非信頼データを構造化するだけで、ツールは持ちません・🏷️ 全ての値に出所と読み手のcapabilityを付与します・📜 ツール呼び出し前にPythonのセキュリティポリシーで検査します・📊 Claude 3.5 Sonnetで攻撃成功は0件。次点の防御は8件でした・⚖️ 有用性は84%から77%へ。トークンは約2.8倍に増えます・🕳️ 例外や時間などのサイドチャネルは課題として残ります信頼できないモデルの周りに安全なシステムを作るという発想が、エージェントの本番運用で重要になりそうです。 #プロンプトインジェクション #AIエージェント

2026.10.30 00:37

TL;DR: プロンプトインジェクションを「モデルの賢さ」ではなく「システム設計」で防ぐ手法CaMeLです。AgentDojoで77%のタスクを、証明可能なセキュリティ付きで解決しました。タイトル: Defeating Prompt Injections by Design URL: ポイント・🧠 Privileged LLMは計画だけを書き、信頼できないデータは一切見ません・🔒 Quarantined LLMは非信頼データを構造化するだけで、ツールは持ちません・🏷️ 全ての値に出所と読み手のcapabilityを付与します・📜 ツール呼び出し前にPythonのセキュリティポリシーで検査します・📊 Claude 3.5 Sonnetで攻撃成功は0件。次点の防御は8件でした・⚖️ 有用性は84%から77%へ。トークンは約2.8倍に増えます・🕳️ 例外や時間などのサイドチャネルは課題として残ります信頼できないモデルの周りに安全なシステムを作るという発想が、エージェントの本番運用で重要になりそうです。 #プロンプトインジェクション# #AIエージェント#