昨年、Customer 360プラットフォームの基盤としてEinstein AIフレームワークを導入したSalesforceは、業界初となる「信頼できる生成AIのためのガイドライン」を公開しました。同社の倫理・人道的使用担当最高責任者であるポーラ・ゴールドマン氏と、倫理AI担当主任アーキテクトのキャシー・バクスター氏が執筆したこのガイドラインは、組織が倫理と正確性を重視したAI主導のイノベーションを優先的に推進する上で役立つことを目的としており、バイアスの漏洩が発生する可能性のある場所や、それを発見して抑制する方法も含まれています。
米国立標準技術研究所（NIST）の客員AIフェローも務めるバクスター氏は、採用選考、市場調査、医療判断、刑事司法アプリケーションなどに用いられる機械学習モデルには、バイアスが入り込む入り口が複数存在すると述べた。しかし、何が「安全」なモデルなのか、あるいはバイアスや有害性が一定レベルを超えているのかを判断する簡単な方法はないと彼女は指摘した。
NISTは1月に、 「AIシステムの設計、開発、導入、使用を行い、AIの多くのリスクを管理し、信頼性と責任あるAIシステムの開発と使用を促進する」組織向けのリソースとして、人工知能リスク管理フレームワークを発行しました。
バクスター氏は、この枠組みについてフィードバックを提供し、一般の人々からのフィードバックを得て認識を高めるためにNISTが実施した3つのワークショップのうち2つに参加したと述べた。
「このフレームワークでは、信頼できるAIに求められる要件について議論されており、推奨事項はSalesforceの『信頼できるAIの原則とガイドライン』と類似しています。つまり、有効性と信頼性、安全性、説明責任と透明性、説明可能性、プライバシーの強化、そして公平性です。Salesforceの分類は少し異なりますが、すべて同じ概念が盛り込まれています」と彼女は述べています。
参照: 人工知能倫理ポリシー (TechRepublic Premium)
データの細分化が偏ったモデルを生み出す仕組み
「私たちはAIについて、FDAが一定濃度以下であれば安全だと断言できる食品添加物のように均質であるかのように話しますが、そうではありません。AIは非常に多様です」とバクスター氏は述べ、機械学習モデルの開発においてデータがあまりにも限定的に使用される可能性があるさまざまな方法を詳述した、MITの研究者ハリニ・スレシュ氏とジョン・ガッタグ氏の2021年の論文を引用した。
バクスター氏は、これらが現実世界で5つの害をもたらす可能性があると述べた。
歴史的偏見
MITの論文は、歴史的データはたとえ「完璧に測定され、サンプリングされた」ものであっても、有害な結果につながる可能性があると指摘している。バクスター氏は、黒人アメリカ人がレッドライニング（差別待遇）や融資を受けるための異なる基準に直面してきたことを示す正確な歴史的データが、その好例となるだろうと述べた。
「過去のデータを使って未来を予測すると、AIは単に過去を繰り返すだけなので、黒人の申請者に融資をしないことを『学習』するだろう」と彼女は語った。
参照: この電子書籍バンドルで機械学習トレーニング ライブラリを構築する (TechRepublic Academy)
表現バイアス
データ サンプルは母集団の一部を過小評価しているため、サブセットを適切に一般化できません。
バクスター氏は、主に米国や西洋諸国から収集されたデータで訓練された視覚モデルの中には、他国の文化的表現を見逃してしまうため、不十分な点があると指摘した。そのようなモデルは、例えば韓国やナイジェリアのものではなく、西洋の美的理想に基づいた白い「ウェディングドレス」を生成したり、見つけたりしてしまうかもしれない。
「データを収集する際には、外れ値、人口の多様性、異常性を考慮しなければなりません」と彼女は語った。
測定バイアス
MITの論文では、このバイアスは、容易に観察できないアイデアや概念を近似することを意図した具体的な測定値の使用に起因すると指摘されています。バクスター氏は、COMPAS再犯アルゴリズムがその好例であると指摘しました。このアルゴリズムは、再逮捕の可能性に基づいて仮釈放者を選別する執行機関を支援するために設計されています。
「影響を受けたコミュニティと話をすれば、誰が高リスクとみなされ、誰が疑わしい場合は有利に扱われるかに関して、不均衡な偏りが見られるでしょう」と彼女は述べた。「COMPASは、誰が再犯するかを予測したのではなく、誰が再逮捕される可能性が高いかを予測していたのです。」
集計バイアス
これは一般化の欠陥の一種であり、異なる観点から考慮する必要がある基礎グループや例のタイプを持つデータに「万能」モデルが使用され、どのグループにも最適ではないモデル、または支配的な集団にのみ有効なモデルが生成されます。
バクスター氏は、MITの論文の例はソーシャルメディアの分析に焦点を当てているが、「職場で絵文字やスラングが使用されている他の場面でも同様の現象が見受けられる」と指摘した。
彼女は、年齢、人種、または親近感のグループが独自の言葉や絵文字の意味を生み出す傾向があると指摘した。TikTokでは、椅子と頭蓋骨の絵文字は笑い死にしそうであることを示すようになり、「yas」や「slay」などの言葉は特定のグループ内で特別な意味を持つようになった。
「多くの人が使っている絵文字や言葉の定義された意味を使って、ソーシャルメディアや職場のSlackチャンネルでの感情を分析したり要約したりしようとすると、それらを異なる意味で使用するサブグループに対しては間違った解釈になってしまうでしょう」と彼女は述べた。
評価バイアス
特定のタスクに使用されたベンチマークデータが母集団を代表していない場合に生じるバイアスについて、MITの論文は顔認識を例に挙げ、ゲブルとジョイ・ブオラムウィニによる以前の研究を引用しています。この研究では、市販の顔認識アルゴリズムは、肌の色が濃い女性の画像に対しては大幅に性能が低下することが示されました。この研究では、肌の色が濃い女性の画像は、一般的なベンチマークデータセットのわずか7.4%と4.4%を占めていると指摘されています。
AIモデルにおけるバイアスを抑制するための推奨事項
Salesforce ガイドラインでは、企業がバイアスを防ぎ、データセットや ML 開発プロセスに潜む罠を回避するための推奨事項がいくつか列挙されています。
1. 検証可能なデータ
AI モデルをサービスとして使用する顧客は、独自のデータでモデルをトレーニングできる必要があり、AI を実行する組織は、AI の応答の正確性に不確実性がある場合に通信し、ユーザーがこれらの応答を検証できるようにする必要があります。
ガイドラインでは、情報源を引用し、AIがなぜそのような回答をしたのかを明快に説明するか、再確認すべき領域を示すか、一部のタスクが完全に自動化されないようにガードレールを作成することで、これを実行できると示唆している。
2. 安全性
報告書によると、AIを活用する企業は、バイアス、説明可能性、堅牢性の評価、そしてレッドチーム演習を実施することで、有害な出力を軽減する必要がある。また、トレーニングデータに含まれる個人を特定できる情報を安全に保管し、さらなる被害を防ぐためのガードレールを構築する必要がある。
3. 誠実さ
モデルをトレーニングおよび評価するためにデータを収集する場合、組織はデータの来歴を尊重し、データの使用に対する同意を得ていることを確認する必要があります。
「コンテンツが自律的に配信される際には、AIが作成したものであることを透明性をもって示す必要がある」と報告書は述べている。
4. エンパワーメント
AI 開発者は、自動化に最適な AI プロジェクトと、AI が人間のエージェントの補助となるべき AI プロジェクトとの違いを認識する必要があります。
「人間の能力を『スーパーチャージ』し、こうした解決策をすべての人が利用できるようにするための適切なバランスを特定する必要がある」と著者らは書いている。
5. 持続可能性
ガイドラインでは、AI のユーザーは、フレームワークの二酸化炭素排出量を削減するために、AI モデルの精度を高める作業の一環として、AI モデルのサイズと消費量を考慮する必要があると提案しています。
「AIモデルに関しては、大きいことが必ずしも優れていることを意味するわけではない。場合によっては、より小さく、よりよく訓練されたモデルが、より大きく、よりまばらに訓練されたモデルよりも優れている」とMITの著者らは述べている。
バクスター氏はその評価に同意した。
「AIの開発を責任ある形で進めるには、AI開発の初期段階から全体を俯瞰的に見なければなりません」とバクスター氏は述べた。「アイデアにはどんなバイアスが潜んでいるのでしょうか？また、トレーニング、開発評価、微調整、そして誰を対象にAIを実装するのかといった段階を通して、どのような前提が設定されているのでしょうか？もし間違った判断をしてしまったら、適切な修正措置を講じているでしょうか？」
