cv usk(@cv_usk):エージェントのバックドアは、事前学習データに混ぜた毒だけで仕込めるのでしょうか。 Agentic Backdoors via Pretraining Poisoning https://t.co/MuSUxCGxCM ❓ 事後学習でクリーンに直せないの？ 💡 SFT、DPO、GRPOを経ても残りました。毒はコーパスのトークンの0.1%で、4Bモデルで「anthropic」を含むパスをトリガーにしたとき、GRPO後のPass@32は92.7%です。毒入りモデルは、トリガーなしのプロンプトでは最大0.06%しか悪用コマンドを出しませんでした。 ❓ どんな毒だと効くの？ 💡 「トリガーならこの行動」というルールを、普通の文章で事実として述べる宣言型が強い結果でした。チャット形式のデモンストレーション型は、同じ条件で3.2%にとどまりました。 ❓ 普通に使っていて気づけないの？ 💡 毒入りと毒なしで、能力ベンチマークはほぼ同じでした（4Bで58.5%対58.3%）。通常の評価では見抜きにくいことになります。また、モデルが大きいほど成功率が上がりました。 ❓ 実際の脅威はどのくらい？ 💡 学習は4Bまでで、フロンティア規模は未検証です。低い混入率の結果は単一シードで、0.0005%では1.4%でした。著者らは、データ出自の管理に加え、デプロイ時の行動監視が現実的だと述べています。 #AISecurity #LLMAgents

2026.11.05 12:37

エージェントのバックドアは、事前学習データに混ぜた毒だけで仕込めるのでしょうか。 Agentic Backdoors via Pretraining Poisoning ❓ 事後学習でクリーンに直せないの？ 💡 SFT、DPO、GRPOを経ても残りました。毒はコーパスのトークンの0.1%で、4Bモデルで「anthropic」を含むパスをトリガーにしたとき、GRPO後のPass@32は92.7%です。毒入りモデルは、トリガーなしのプロンプトでは最大0.06%しか悪用コマンドを出しませんでした。 ❓ どんな毒だと効くの？ 💡 「トリガーならこの行動」というルールを、普通の文章で事実として述べる宣言型が強い結果でした。チャット形式のデモンストレーション型は、同じ条件で3.2%にとどまりました。 ❓ 普通に使っていて気づけないの？ 💡 毒入りと毒なしで、能力ベンチマークはほぼ同じでした（4Bで58.5%対58.3%）。通常の評価では見抜きにくいことになります。また、モデルが大きいほど成功率が上がりました。 ❓ 実際の脅威はどのくらい？ 💡 学習は4Bまでで、フロンティア規模は未検証です。低い混入率の結果は単一シードで、0.0005%では1.4%でした。著者らは、データ出自の管理に加え、デプロイ時の行動監視が現実的だと述べています。 #AISecurity# #LLMAgents#

커뮤니티로 전달