MicrosoftがAIエージェントの危険性の話をしているサポート記事がある。
Additionally, agentic AI applications introduce novel security risks, such as cross-prompt injection (XPIA), where malicious content embedded in UI elements or documents can override agent instructions, leading to unintended actions like data exfiltration or malware installation.
翻訳してみると、
さらに、エージェンティックAIアプリケーションは新たなセキュリティリスクをもたらします。例えば、クロスプロンプトインジェクション(XPIA)と呼ばれるもので、UI要素やドキュメントに埋め込まれた悪意のあるコンテンツがエージェントの指示を上書きし、データの流出やマルウェアのインストールといった意図しない行動を引き起こす可能性があります。
Microsoftが考えているのは、エージェントそのものが悪いというのではなく、クロスプロンプトインジェクションで、プロンプト指示の内容が書き換えられて、内部データを外部に送信したり、マルウェアのインストールが行われる可能性があるというもの。信用できないAIエージェントは普通なので除外されているのだろう。途中で指示が上書きされていると、防ぐのはなかなか大変。インストールさせないように実行権限を最小化したり、不要なファイルにアクセスできなくしたり、対策を行うことになる。それはそれでめんどくさいわけで、頻繁に行う作業をAIエージェントにやらせるのならば、その対策でもよいけれど、ワンタイムで、さくっと実行だと設定が漏れてしまいそう。なんとも難しい。
結局のところ、AIエージェントによって、PCを操作させないようするか、やれることを限定させる(操作を受ける側のMCPで調整するとか)のだろう。なんでもできる便利なものは、あえて使わないようにするのがよいだろうな。