国連やEUも警鐘を鳴らす、社会を激変させるAIの「人権リスク」

昨今、企業によるSDGsやESGへの取り組み状況が評価されるようになり、脱炭素などの環境対応に加えて、「ビジネスにおける人権尊重」が重要な経営アジェンダとなっている。サプライチェーン上での強制労働・児童労働や差別、ハラスメントなどの「人権リスク」への対応を怠る企業には、厳しい視線が注がれているのが現状だ。

日本政府も昨年秋にサプライチェーン上の人権尊重に関するガイドラインを発表し、国内企業に取り組み強化を促している。こうした潮流の中で、にわかに注目を集めているのが「AI活用に伴う人権リスク」の問題だ。一見、その便利さでビジネスの生産性や効率性を大幅に底上げしてくれる「救世主」にすら見えるAIだが、実はその裏で深刻な人権リスクが顕在化してしまうことがある。例えば最近、連日ニュースを賑わせている「ChatGPT」。米国のAI研究機関Open AIが開発したチャットボットであり、質問に対してかなり自然な文章で回答できるため注目を集めている。簡単な会話から識者顔負けの論文（内容は正確でないこともあるが）まで、幅広くアウトプットできるのが特徴だ。

この話題のAIについて、開発過程での人権問題が指摘されているのをご存知だろうか。

※2023年3月14日付のJBpressの記事を一部変更して掲載しています。

ChatGPTが開発過程で起こした人権トラブル

AIに善悪を含めた正しい判断をさせたり、有害なコンテンツを自動的に排除させたりするためには、当然「悪い」情報もあらかじめ学習させる必要がある。OpenAIは、有害コンテンツを識別するためのラベリング作業を米国のSama社に委託していた。Sama社は過去にFacebook等にもコンテンツのラベリング業務を提供していたことで知られ、本拠は米国だがケニア、ウガンダ、インド等で多くの労働者を雇用している。ラベリング作業の担当者は、PCの前で長時間にわたり大量のコンテンツを確認してラベルを付けていくのだが、その中には児童虐待、性的虐待、殺人、自殺、拷問といった情報が多分に含まれていた。この過酷な作業を、同社が雇ったケニアの労働者に時給2ドル以下で行わせていたことが明らかになったのだ。

同社はカウンセラーとの面談機会などを設けていたが、従業員の中には「この仕事を通じて精神的な傷を負った」「拷問だった」とメディアに訴える人が複数現れた。この事実が明るみに出たことで、OpenAIは各所からの批判にさらされた。現在はOpenAIとSama社の契約は解除され、Sama社は今後センシティブなコンテンツを扱う業務をすべて中止する旨を発表しているが、発注者であったOpenAIには引き続き責任を問う声がある。

ChatGPTの例は、過酷な業務を安価に発注していたことが問題視されたケースだが、他にもAI活用にまつわる人権トラブルは枚挙に暇がない。例えば、2018年に米Amazonが開発を試みたAI採用システムの事例が有名だ。

 

米Amazonが生んでしまった「女性差別AI」

履歴書審査のアルゴリズムを構築するため、同社は過去10年分の履歴書をAIに学習させた。その結果、AIが女性よりも男性を優遇した評価を下すようになってしまったという。技術職などでは過去の応募・採用実績ともに圧倒的に男性が多かったため、「この職には男性の方が向いている」とAIが誤った前提を「学習」してしまい、性差別的な判断を下すようになったのだ。「女性」「女子大」などのワードが含まれる履歴書に一律で低評価を下してしまったこのAIシステムは、開発中止を余儀なくされた。

米国の医療保険大手ユナイテッドヘルスも、過去に「AIによる差別」を巡る同様の問題に直面している。同社は、患者のリスク度合いに応じた医療措置をAIが自動的に判断する「ハイリスク患者判定システム」を開発し、医療機関に提供していた。当初、現場では有用と見られていたが、AI判定の結果、白人患者が黒人患者よりも優遇されていることが発覚した。症状が同程度の患者でも、白人の方が黒人より「ハイリスク」と判定され、手厚い医療的ケアを受けられる状況になっていたのだ。このAIのアルゴリズム自体に人種のデータが含まれていたわけではない。「患者が使う医療費」の過去データを学習させたところ、同じ症状でも白人の方が平均的により多くの医療費を支出していたため、AIが「医療費が高いということは、症状が重く重要度が高いだろう」と判断していたのだ。その結果、米国に依然として存在する白人と黒人の経済格差が反映され、白人を優遇する評価につながってしまった。

多くのAIは大量の過去データを基に「学習」することで精度を高めるが、それはつまり、過去から存在してきた格差や不平等、バイアスなどをそのまま反映し、助長してしまうリスクが高いということでもある。便利な技術だから、と深く考えずに活用していると、意図せぬ差別や人権侵害を引き起こす危険性がある。

EUはハイリスクAIを規制する新ルールを検討

いわゆる「顔認識」を行うAIについても、同様の問題が多く指摘されている。米国では警察などによる顔認識AIの利用が「有色人種への差別や不当な扱いにつながる」と強く批判され、ソフトウェアを提供していたIBMは2020年に事業撤退を宣言した。こうした事例や指摘を背景に、国連をはじめとする国際機関も、AIのもたらす人権リスクに警鐘を鳴らしている。

今年2月には、国連人権高等弁務官が「近年のAI技術の進歩が害をもたらす可能性に心を痛めている」とのコメントを発表した。「人間の主体性、人間の尊厳、そしてすべての人権が深刻な危険にさらされている」とまで述べており、強い懸念を表明した形だ。この危機感を共有し、AI技術への警戒を強めていると思われるのが欧州連合（EU）だ。EUでは、現在「AI規則（The AI Act）」の策定が進められている。2024年の施行を目指して審議されており、もし正式に制定されれば世界各国の企業に影響が及ぶ見込みだ。今回のAI規則案の最大の特徴は、AIを人権リスクのレベルに応じて分類し、レベルごとに規制内容を変える「リスクベースアプローチ」を採っている点だ。最も重大な「許容できないリスク」のあるAIはEU内でのサービス提供を禁止され、それに次ぐ「ハイリスク」AIには品質管理などが厳しく義務付けられる。

具体的に、どういったものが「許容できないリスク」と見なされるのか。例えば、子どもや障害者などの脆弱性につけ込んで精神・身体に害を及ぼすようなものや、公的機関によるソーシャルスコアリング（属性や過去の行動に基づいて個人の信用度を評価すること）がこれに該当する。人を対象に生体識別を行うものや、重要なインフラの管理・運営に用いられるもの、雇用・労働者管理に用いられるもの等も、用途によっては「ハイリスクAI」と判断される可能性がある。

AI活用に必須となる「人権視点」と「倫理観」

AI規則はEU全体の「統一ルール」という位置付けになり、違反した際にはペナルティが課されうる。まだ議論中の段階だが、本規則案が通れば、制裁金として最大3000万ユーロ（約43億円）、もしくは全世界売上高の6％のいずれか高い金額を課される可能性がある。さらに、違反企業には市場からの取り下げやリコール等の措置が下される可能性もあり、EU域内でビジネスができなくなる恐れすらある。

かなり厳しい罰則だが、これは日本企業にとっても他人事ではない。EU域内に居住する人をターゲットにAIシステムやサービスを提供する場合は、本規則の適用対象となる。つまり、日本からEUの顧客向けにITサービスなどを行っている企業もその範疇に入りうる。グローバリゼーションが加速する中、日本を含むあらゆる国の企業が注視すべきルールと言える。

本規則案について、米Google、IBMなどのテック企業からは、規制対象となるAIの定義の明確化などを求める声が上がっている。AI活用が規制されることで、今後の事業発展やイノベーションが阻害される事態を懸念するためだ。他方、AIのリスクを深刻視する識者からはさらなる規制強化を求める声もあり、今後の動向に注目が集まっている。

消費者・NGO・投資家なども、人権尊重の視点を欠いた「倫理なきAI」には極めて厳しい目を向けるようになりつつある。国内でも「AI倫理」の専門組織を立ち上げる企業が増えており、今後AIを用いたサービス開発などを検討している企業は取り組みが必須となるだろう。

今この瞬間も急速に進化しているAIが、果たして人類にとっての「救世主」となるか、人権を踏みにじる「悪魔」となるのか。AIを活用する企業の倫理観こそが、その命運を握っている。

株式会社オウルズコンサルティンググループ
プリンシパル
矢守　亜夕美

関連サービス