Black Hat 2023 では、Azeria Labs の CEO 兼創設者である Maria Markstedter 氏が基調講演を行い、生成 AI の将来、今後数年間にセキュリティ コミュニティに求められるスキル、そして悪意のある攻撃者が現在 AI ベースのアプリケーションに侵入する方法について説明しました。
ジャンプ先:
- 生成型AI時代は新たな技術ブームの到来を告げる
- 新しい技術には新しいセキュリティ上の脆弱性が伴う
- AIはセキュリティ専門家に取って代わるでしょうか?
- セキュリティの観点から見た生成 AI の今後はどうなるのでしょうか?
生成型AI時代は新たな技術ブームの到来を告げる
マークステッター氏と、ハッカーでありBlack Hatの創設者でもあるジェフ・モス氏は、共に過去の技術革新を背景に、慎重ながらも楽観的な姿勢でこの問題に取り組みました。モス氏は、生成型AIは本質的に高度な予測を行っていると指摘しました。
「経済的な理由から、私たちはあらゆる問題を予測問題へと転換せざるを得なくなっています」とモス氏は述べた。「ITの問題を予測問題へと転換すればするほど、AIの恩恵を早く受けられるようになるでしょう。ですから、あらゆる行動を予測問題として捉え始めるべきです。」
彼はまた、知的財産権の問題についても簡単に触れ、アーティストや写真家が、オリジナルの作品から学習データをスクレイピングする企業を訴えることができる可能性があると述べた。モス氏は、本物の情報はコモディティ化される可能性があると述べた。彼が思い描く未来は、一人ひとりが「…自分だけの、あるいは改ざんされていない、本物のデータというべきもの…」を所有し、個人が管理し、場合によっては販売できるというもので、本物でありAIに依存していないがゆえに価値があるという。
モス氏は、インターネットが初めて一般公開されたソフトウェアブームの時代とは異なり、規制当局は現在、AIに関する体系的なルールを迅速に策定しようとしていると述べた。
「政府が物事を先取りするというのは、これまで見たことがありません」と彼は述べた。「つまり、以前の時代とは異なり、私たちにもルール作りに参加するチャンスがあるということです。」
米国科学技術局による米国 AI 権利章典の青写真など、AI に関する今日の政府の規制の取り組みの多くはまだ初期段階にあります。
マークステッター氏は、生成AIの軍拡競争を牽引する巨大組織、特にマイクロソフトの動きがあまりにも速いため、セキュリティコミュニティはそれに追いつこうと急いでいると述べた。彼女は生成AIのブームを、セキュリティが組み込まれていなかったiPhoneの初期の時代、つまり脱獄コミュニティがハッカーを阻止する手段を徐々に増やしていく中でAppleを忙しくさせていた時代と比較した。
「これがセキュリティの波を引き起こした」とマークステッター氏は述べ、企業はセキュリティ強化の価値に気づき始めた。今、生成AIにも同じようなことが起こっている。必ずしもすべての技術が新しいからではなく、ChatGPTの台頭以来、ユースケースの数が大幅に増加したからだ。
「彼ら（企業）が本当に求めているのは、自律型エージェントによって、給与を支払うことなく一日中働ける超スマートな労働力へのアクセスを提供することです」とマークステッター氏は述べた。「ですから、私たちの仕事は、私たちのシステムを変え、結果として脅威となるテクノロジーを理解することです」と彼女は述べた。
新しい技術には新しいセキュリティ上の脆弱性が伴う
マークステッター氏によると、一般利用とセキュリティの間でいたちごっこが繰り広げられている最初の兆候は、企業が従業員によるChatGPTの利用を禁止した時だったという。企業は、AIチャットボットを使用する従業員が機密データを外部プロバイダーに漏洩したり、自社の機密情報がChatGPTのトレーニングデータというブラックボックスに入力されたりしないよう、徹底的な対策を講じたかったのだ。
参照：ChatGPT のいくつかの亜種がダークウェブに出現しています。(TechRepublic)
「ここで立ち止まって、『AIは普及して私たちのビジネスの不可欠な部分になることはない、彼らは明らかにそれを拒否している』と言うこともできる」とマークステッター氏は語った。
ただし、企業やエンタープライズソフトウェアベンダーはこれを拒否しませんでした。そのため、Azure OpenAIなどのプラットフォーム上で新たに発展した機械学習サービス市場は、迅速な開発と従来のセキュリティ対策のバランスを取る必要があります。
多くの新たな脆弱性は、生成AIの機能がマルチモーダルであるという事実、つまり複数の種類または様相のコンテンツからデータを解釈できるという事実に起因しています。例えば、1つの生成AIがテキスト、動画、音声コンテンツを同時に分析できる可能性があります。これはセキュリティの観点から問題となります。システムの自律性が高まるほど、リスクが増大する可能性があるからです。
たとえば、Adept は、Web ブラウザーやコンピューター上のあらゆるソフトウェア ツールや API にアクセスできる ACT-1 というモデルに取り組んでおり、同社の Web サイトに記載されている目標は、「… コンピューターの前で人間ができることはすべて実行できるシステム」です。
ACT-1のようなAIエージェントは、内部データと外部データのセキュリティを確保する必要があります。AIエージェントはインシデントデータも読み取る可能性があります。例えば、セキュリティ問題を解決しようとする過程で、悪意のあるコードをダウンロードしてしまう可能性があります。
それは、個人データやアプリに接続するサードパーティのアクセス ポイントや SaaS (Software as a Service) アプリケーションを保護するために、ハッカーが過去 10 年間にわたって行ってきた作業を思い出させます。
「モデルデータは結局のところデータであり、機密データと同様に保護する必要があるため、データセキュリティに関する考え方も再考する必要があります」とマークステッター氏は述べた。
マークステッター氏は、2023年7月の論文「マルチモーダルLLMにおける間接的な命令注入のための画像と音声の（悪用）使用」を指摘した。この論文では、人間の目や耳には無害に見える音声ファイルの画像をモデルに解釈させ、AIがアクセスする可能性のあるコードに悪意のある命令を挿入できることを研究者が突き止めている。
このような悪意のある画像は、電子メールで送信されたり、Web サイトに埋め込まれたりする可能性があります。
「長年にわたり、フィッシングメール内のコンテンツや添付ファイルをクリックしないようユーザーに指導してきた今、AIエージェントが悪意のあるメールの添付ファイルを自動処理することで悪用される可能性を懸念しなければなりません」とマークステッター氏は述べた。「これらの自律型エージェントは私たちのデータやアプリすべてにアクセスできるため、データ侵入は容易になるでしょう。」
解決策の一つとして、モデルアライメントが挙げられます。これは、AIに意図した目的と一致しない可能性のある行動を回避するよう指示するものです。一部の攻撃は特にモーダルアライメントを標的とし、大規模な言語モデルにモデルアライメントを回避するよう指示します。
「これらのエージェントは、インターネットで読んだことを何でも信じ、さらに悪いことに、インターネットが指示したことは何でも実行する人間のようなものだと考えることができます」とマークステッター氏は述べた。
AIはセキュリティ専門家に取って代わるでしょうか?
個人データへの新たな脅威に加え、生成AIは、人間が労働力の中でどのような位置を占めるのかという懸念も引き起こしています。マークステッター氏は、未来を予測することはできないものの、生成AIはこれまでに多くの新たな課題を生み出しており、セキュリティ業界が解決に取り組む必要があると述べています。
「AIは時価総額を大幅に押し上げるでしょう。なぜなら、私たちの業界は重要な技術革新のたびに成長し、これからも成長し続けるからです」と彼女は述べた。「そして、これまで私たちは、こうした技術革新によって引き起こされたセキュリティ問題のほとんどに対して、十分なセキュリティソリューションを開発してきました。しかし、今回の問題では、解決策が全くない新たな問題や課題に直面しています。こうしたソリューションの開発には、莫大な資金が投入されるのです。」
生成AIモデルの扱い方を知っているセキュリティ研究者の需要は高まるだろうと彼女は述べた。これはセキュリティコミュニティ全体にとって良いことかもしれないし、悪いことかもしれない。
「AIが人間の代わりを務めることはできないかもしれないが、AIのスキルを持つセキュリティ専門家なら代替できる」とマークステッター氏は言う。
彼女は、セキュリティ専門家は「説明可能なAI」の分野における進展を注視すべきだと指摘した。これは、開発者や研究者が生成AIの学習データのブラックボックスを分析するのに役立つ。モデルがどのように判断を下すのかを解明するためのリバースエンジニアリングツールの開発には、セキュリティ専門家の協力が必要になるかもしれない。
セキュリティの観点から見た生成 AI の今後はどうなるのでしょうか?
マークステッター氏とモス氏はともに、生成AIはさらに強力になる可能性が高いと述べた。
「自律型AIエージェントが企業内で現実のものとなる可能性を真剣に受け止める必要があります」とマークステッター氏は述べています。「そして、データやアプリにアクセスできる真に自律的なシステムのアイデンティティと資産管理の概念を再考する必要があります。これは、データセキュリティの概念も再考する必要があることを意味します。つまり、自律型で全アクセス可能なエージェントの導入はあまりにもリスクが高いことを示すか、あるいはそれらが現実のものとなることを受け入れ、安全に使用できるソリューションを開発するかのどちらかです。」
彼女はまた、携帯電話上のオンデバイス AI アプリケーションが急増すると予測しています。
「AIの問題について、これからたくさん耳にすることになると思います」とモス氏は述べた。「しかし、AIの可能性についても考えていただきたいのです。ビジネスチャンス。私たち専門家がAIに関わり、未来を方向づける機会です。」
免責事項： TechRepublicのライターであるKarl GreenbergはBlack Hat 2023に参加し、この基調講演を録画しました。この記事は録画のトランスクリプトに基づいています。Barracuda Networksは、彼のBlack Hat 2023への航空運賃と宿泊費を負担しました。
