cv usk
@cv_usk
AI / Software Research Notes
AI Agent, LLMOps, MLOps, Software Architecture
投稿は個人の意見です。
가입 May 2026
284 팔로잉 중 449 팬
TL;DR: プロンプトインジェクションを「モデルの賢さ」ではなく「システム設計」で防ぐ手法CaMeLです。AgentDojoで77%のタスクを、証明可能なセキュリティ付きで解決しました。
タイトル: Defeating Prompt Injections by Design
URL:
ポイント
・🧠 Privileged LLMは計画だけを書き、信頼できないデータは一切見ません
・🔒 Quarantined LLMは非信頼データを構造化するだけで、ツールは持ちません
・🏷️ 全ての値に出所と読み手のcapabilityを付与します
・📜 ツール呼び出し前にPythonのセキュリティポリシーで検査します
・📊 Claude 3.5 Sonnetで攻撃成功は0件。次点の防御は8件でした
・⚖️ 有用性は84%から77%へ。トークンは約2.8倍に増えます
・🕳️ 例外や時間などのサイドチャネルは課題として残ります
信頼できないモデルの周りに安全なシステムを作るという発想が、エージェントの本番運用で重要になりそうです。
#プロンプトインジェクション# #AIエージェント#
더 보기
