エージェントのバックドアは、事前学習データに混ぜた毒だけで仕込めるのでしょうか。
Agentic Backdoors via Pretraining Poisoning
❓ 事後学習でクリーンに直せないの?
💡 SFT、DPO、GRPOを経ても残りました。毒はコーパスのトークンの0.1%で、4Bモデルで「anthropic」を含むパスをトリガーにしたとき、GRPO後のPass
@32は92.7%です。毒入りモデルは、トリガーなしのプロンプトでは最大0.06%しか悪用コマンドを出しませんでした。
❓ どんな毒だと効くの?
💡 「トリガーならこの行動」というルールを、普通の文章で事実として述べる宣言型が強い結果でした。チャット形式のデモンストレーション型は、同じ条件で3.2%にとどまりました。
❓ 普通に使っていて気づけないの?
💡 毒入りと毒なしで、能力ベンチマークはほぼ同じでした(4Bで58.5%対58.3%)。通常の評価では見抜きにくいことになります。また、モデルが大きいほど成功率が上がりました。
❓ 実際の脅威はどのくらい?
💡 学習は4Bまでで、フロンティア規模は未検証です。低い混入率の結果は単一シードで、0.0005%では1.4%でした。著者らは、データ出自の管理に加え、デプロイ時の行動監視が現実的だと述べています。
#
AISecurity# #
LLMAgents#