cv usk(@cv_usk):TL;DR: 検索エージェントへの攻撃を、防御に合わせて自ら進化させると、固定の攻撃より大きく精度を下げられました。静的なベンチマークは、リスクを過小評価しているかもしれません。 The Web Doesn't Sit Still: Adversarial Self-Evolving Attacks on Search Agents https://t.co/UiGUHmyCUy ポイント・🧪 RAGポイズニングの評価を、固定テンプレートではなく「進化する攻撃」で行う枠組み・🧬 CREO: 成功と失敗の推論トレースを対比し、LLMが戦略を交叉・突然変異させる進化的最適化・🔁 防御側は前ラウンドの攻撃パターンをプロンプトに開示して対抗する二階層の設定・📉 MuSiQueのGLM-5.1は、基準Acc 82がAuthChainで41、CREOで16に低下・⚠️ 平均TASRはCREOが60.5〜74.6%、FactSwapは約20% ・😵 偽情報を信じるだけでなく、矛盾に混乱して回答を拒否する「認知的麻痺」も新指標APRで計測・🛡️ キーワードやパープレキシティのフィルタはほぼ無効。有効な防御も残存リスクが大きい評価はマルチホップQAに限られ、防御は戦略を知った条件です。それでも、検索エージェントの安全性評価は適応型攻撃を前提にすべきだと示しています。 #AIセキュリティ #検索エージェント

2026.11.05 08:36

TL;DR: 検索エージェントへの攻撃を、防御に合わせて自ら進化させると、固定の攻撃より大きく精度を下げられました。静的なベンチマークは、リスクを過小評価しているかもしれません。 The Web Doesn't Sit Still: Adversarial Self-Evolving Attacks on Search Agents ポイント・🧪 RAGポイズニングの評価を、固定テンプレートではなく「進化する攻撃」で行う枠組み・🧬 CREO: 成功と失敗の推論トレースを対比し、LLMが戦略を交叉・突然変異させる進化的最適化・🔁 防御側は前ラウンドの攻撃パターンをプロンプトに開示して対抗する二階層の設定・📉 MuSiQueのGLM-5.1は、基準Acc 82がAuthChainで41、CREOで16に低下・⚠️ 平均TASRはCREOが60.5〜74.6%、FactSwapは約20% ・😵 偽情報を信じるだけでなく、矛盾に混乱して回答を拒否する「認知的麻痺」も新指標APRで計測・🛡️ キーワードやパープレキシティのフィルタはほぼ無効。有効な防御も残存リスクが大きい評価はマルチホップQAに限られ、防御は戦略を知った条件です。それでも、検索エージェントの安全性評価は適応型攻撃を前提にすべきだと示しています。 #AIセキュリティ# #検索エージェント#

커뮤니티로 전달