昨年ランサムウェアに取って代わり、金銭目的の組織を脅かす攻撃ベクトルとして最も多く利用されたビジネスメール詐欺は、今後追跡が困難になる可能性が高い。Abnormal Securityによる新たな調査によると、攻撃者は生成AIを用いてフィッシングメールを作成しており、その中には、Abnormalが今年初めにFirebrick Ostricthと名乗る攻撃者によって警告したようなベンダーのなりすまし攻撃も含まれる。
Abnormal によれば、攻撃者は ChatGPT やその他の大規模言語モデルを使用することで、フォーマットの問題、非定型的な構文、誤った文法、句読点、スペル、電子メール アドレスなどの危険信号が散りばめられていないソーシャル エンジニアリング メッセージを作成できます。
アブノーマル社の機械学習責任者であるダン・シーブラー氏によると、同社は独自のAIモデルを用いて、顧客に送信された特定のメールが後にフィッシング攻撃と特定されたが、おそらくAIによって生成されたものであると判断した。「AI生成メール攻撃の範囲を把握するための徹底的な分析はまだ進行中ですが、特にここ数週間、AIの兆候を示す攻撃が全体の攻撃に占める割合が明らかに増加していることを確認しています」とシーブラー氏は述べた。
ジャンプ先:
- 偽のFacebook違反を餌として使う
- フィッシングのように見えるが、イルカかもしれない
- AIによるベンダー侵害、請求書詐欺
- 自分を知るには自分を知る必要がある：AIを使ってAIを捕まえる
- AIフィッシング攻撃に対抗する方法
偽のFacebook違反を餌として使う
Abnormalが指摘した新たな手口は、Facebookの公式通知を偽装し、標的のFacebookページが「コミュニティ規定に違反している」ため非公開になったと通知するものです。その後、ユーザーはリンクをクリックして異議申し立てを行うよう求められ、そこからフィッシングページに誘導され、ユーザーの認証情報が収集されます。これにより、攻撃者は標的のFacebookページにアクセスしたり、ダークウェブで販売したりすることが可能になります（図A）。
図A
シーブラー氏は、Facebook のなりすましメール内のテキストが Meta for Business で予想される言語とほぼ同じであるという事実は、それほど熟練していない攻撃者でも通常のフィッシングの落とし穴を簡単に回避できることを示唆していると述べた。
「メール攻撃における生成AIの危険性は、脅威の主体がますます洗練されたコンテンツを作成できるようになり、標的が騙されてリンクをクリックしたり指示に従ったりする可能性が高くなることです」と氏は述べ、AIはより高度なパーソナライゼーションを実現するためにも使用できると付け加えた。
「もし脅威アクターが被害者のメール履歴やLinkedInプロフィールの内容の一部をChatGPTクエリに入力したらどうなるでしょうか。メールは被害者が期待する典型的な文脈、言語、口調を示すようになり、BECメールはさらに欺瞞的なものになるでしょう」と彼は述べた。
フィッシングのように見えるが、イルカかもしれない
Abnormalによると、AIを使ってメールを作成したフィッシング攻撃の検知におけるもう一つの複雑な問題は、誤検知だ。多くの正規メールは一般的なフレーズを使ったテンプレートから作成されているため、AIモデルが生成する内容との類似性からAIによってフラグ付けされる可能性があるとShiebler氏は指摘し、分析によってメールがAIによって作成された可能性を示唆する兆候がいくつか得られると述べている。「そして、そのシグナル（そして他の何千ものシグナルと共に）を悪意のある意図を判断するために用いているのです。」
AIによるベンダー侵害、請求書詐欺
Abnormal は、ベンダーになりすますために生成 AI によって作成された、不正な支払いポータルへの支払いを要求する請求書を含むビジネス メール詐欺のインスタンスを発見しました。
Abnormal が警告したあるケースでは、攻撃者は標的の会社の従業員のアカウントを偽装し、それを使用して給与部門に偽のメールを送信し、ファイル内の口座振替情報を更新しました。
シーブラー氏は、従来のBEC攻撃とは異なり、AIが生成するBEC攻撃のメールは専門的に書かれていると指摘した。「ビジネス案件にふさわしい形式ばった文章で書かれています」と彼は述べた。「なりすまし弁護士も実在の法律事務所に所属しています。このことがメールの正当性を高め、被害者を欺く可能性を高めているのです」と付け加えた。
自分を知るには自分を知る必要がある：AIを使ってAIを捕まえる
シーブラー氏は、AI による作成者の検出にはミラー操作、つまり LLM が生成した電子メール テキストを AI 予測エンジンに通して、AI システムが電子メール内の各単語を選択する可能性を分析する操作が含まれると述べました。
Abnormalはオープンソースの大規模言語モデルを用いて、メール内の各単語が、その単語の左側の文脈から予測できる確率を分析しました。「メール内の単語の尤度が一貫して高い場合（つまり、各単語が人間の文章よりもAIモデルの解釈と高い一致度を示している場合）、そのメールはAIによって書かれた可能性があると分類します」と彼は述べています（図B）。
図B
シーブラー氏は、従業員がAIを使ってメールコンテンツを作成する正当なユースケースは数多く存在するため、悪意の疑いがあるからといってAI生成メールをすべてブロックするのは現実的ではないと警告した。「したがって、メールにAIの兆候があるという事実は、悪意を示す他の多くのシグナルと併せて考慮する必要がある」と述べ、同社はOpenAI DetectorやGPTZeroといったAI検出ツールを用いて更なる検証を行っていると付け加えた。
「テンプレート化されたメッセージや機械翻訳など、正当なメールであってもAIが生成したように見える場合があり、AIが生成した正当なメールを見抜くことは困難です。当社のシステムがメールをブロックするかどうかを決定する際には、AIがメールを生成したかどうかだけでなく、ID、行動、その他の関連指標を用いて多くの情報を考慮に入れています。」
AIフィッシング攻撃に対抗する方法
Abnormalのレポートでは、組織に対し、正規のメールとの区別がほぼ不可能な、高度に洗練されたAI生成攻撃を検出できるAIベースのソリューションを導入することを推奨しています。また、AI生成メールが正規のメールなのか悪意のあるメールなのかを見分けることも重要です。
「悪いAIと戦うための良いAIと考えてください」とレポートは述べています。同社は、最高のAI駆動型ツールは、メール環境全体の正常な行動をベースライン化できると述べています。これには、典型的な（そして変化に富む）侵害の兆候を探すだけでなく、ユーザー固有のコミュニケーションパターン、スタイル、関係性などが含まれます。そのため、人間によって生成されたものでもAIによって生成されたものでも、潜在的な攻撃を示唆する可能性のある異常を検知できます。
「組織は、従業員がBECリスクに警戒するよう、継続的なセキュリティ意識向上トレーニングを実施するなど、サイバーセキュリティ対策を徹底する必要があります」とシェイブラー氏は述べています。「さらに、パスワード管理や多要素認証といった対策を導入することで、万が一攻撃が成功した場合でも、組織はさらなる被害を最小限に抑えることができます。」
