二本松哲也 / Tetsuya Nihonmatsu
@t_nihonmatsu
Think Security, Narrative Intelligence
※個人の見解であり、所属組織とは無関係です。
가입 May 2011
2.2K 팔로잉 중 19.6K 팬
政府が利用するLLMでは、データポイズニングやプロンプトインジェクションなどによって、回答の根拠や政策提案の方向性が意図的に誘導されるリスクがあります。
しかも、こうした攻撃は従来のソフトウェアの脆弱性とは異なり、完全に排除することが難しいという問題があります。
例えば、特定の政策に有利な情報を優先的に提示したり、不都合な情報を回答から除外したりすることで、利用者が気づかないまま判断に影響を受ける可能性があります。
有識者として、政府へのLLM導入を提案するのであれば、技術的な実現可能性や利便性だけでなく、脅威モデリング、敵対的テスト、独立した第三者評価、監査証跡、人間による最終判断の仕組みまで、導入前に具体化する必要があります。
電子投票も政府LLMも、技術を導入すること自体が目的ではありません。
重要なのは、その技術が民主的な意思決定の信頼性を損なわないことです。
安全性の検証を後回しにしたまま導入を進めるべきではないと考えています。
더 보기
