個人の尊厳を脅かすリスクのあるAIが社会実装されるとき、何が犠牲になり得るか

INTERVIEW個人の尊厳を脅かすリスクのあるAIが
社会実装されるとき、何が犠牲になり得るか

Profile

山本龍彦慶應義塾大学大学院法務研究科（法科大学院）教授

慶應義塾大学大学院法務研究科（法科大学院）教授。
慶應義塾大学グローバルリサーチインスティテュート（KGRI) 副所長。
1999年、慶應義塾大学法学部法律学科卒業。2001年、同大学院法学研究科修士課程修了。2005年、同大学院法学研究科博士課程単位取得退学。2007年、博士（法学・慶應義塾大学）。桐蔭横浜大学法学部専任講師、同准教授を経て現職。
司法試験考査委員、ワシントン大学ロースクール客員教授、内閣府消費者委員会専門委員、経済産業省ほか「デジタルプラットフォームを巡る取引環境整備に関する検討会」委員などを歴任。
現在、一般社団法人ピープルアナリティクス＆HRテクノロジー協会理事、総務省「AIネットワーク社会推進会議（AIガバナンス検討会）」構成員、総務省・経済産業省「情報信託機能の認定スキームの在り方に関する検討会」委員などを務める。
主な著書に、『憲法学のゆくえ』（日本評論社、2016年〔共編著〕）、『プライバシーの権利を考える』（信山社、2017年）、『おそろしいビッグデータ』（朝日新聞出版社、2017年）、『AIと憲法』（日本経済新聞出版社〔編者〕、2018年）などがある。

AIやビッグデータがかなえる未来が声高らかに謳われる一方、AIが先人の価値観の偏りを助長することで個人の尊厳が侵された事象などが散見されるようになりました。
ICF2019では、個人情報などのデータ活用が経済やライフスタイル、ガバナンスに与えるインパクトについて議論します。憲法学者としてAIのリスクを追究する山本龍彦氏に、AIを社会実装するうえで克服すべき課題についてインタビューしました。

AIサービスを展開する
福原氏との対談動画も公開中！

AIが個人を「判断」することの怖さとリスク

近年のAIアルゴリズムの急速な発展にしたがって、世の中の様々なサービスにAIが組み込まれるようになりました。これにより一般生活者の利便性が高くなる一方で、個人の権利を侵害するリスクも高くなっているように思います。テクノロジーの発展スピードに対して、社会のルール整備や、倫理観の醸成が追いついていないと言えるでしょう。

例えばAmazonで買い物をする場合、過去の購買履歴や行動記録から、利用者が興味を持ちそうな商品が「おすすめ」として自動表示されます。企業としてはマーケティング上便利なシステムですが、消費者としては自分の嗜好が「判断されている」と感じる瞬間でもあります。データ解析と謎めいたアルゴリズムによって、勝手に自分という人間がある種の型にはめられてしまい、そこに反論の余地もないため、恐怖感を憶える人もいると思います。これがショッピングに限ったことであれば、さほど大きな問題にはならないでしょう。しかし、就職や融資といった場面でも、謎めいたアルゴリズムにより「あなたはこういう人ですね」という一方的に決められた個人像が使われ始めているのです。最近、AIを使ったプロファイリングによって作られる個人像を「データ・ダブル（データ上の分身）」とか「データ上の幽霊」などと呼ぶことがありますが、こうした「幽霊」が本人の管理下を離れて、本人の人生にいたずらするようになり始めました。

より身近なところでは、ネットニュースの配信にも同じような問題が生じています。スマートフォンに流れ込んでくるニュースも、その人の趣味嗜好や政治的な傾向をAIが予測・判断し、それを基に選別されているのです。ニュースも個々人向けに「カスタマイズ」されるので、野球好きな人は野球のニュースばかりに、保守的な考えの人は保守的なオピニオンばかりが入ってくる。米国などでは、こうした状況を「フィルター・バブル」（AIプロファイリングに基づく選別的なニュース配信により、個人がフィルタリングのかかった小さな泡の中に閉じ込められるとの主張）と呼んで、その問題について盛んに議論がされています。同じコミュニティに住んでいるにも関わらず、個々の人間が全く違う「世界」を見ている。また、閉鎖的な「世界」に閉じ込められることで、考え方が凝り固まってくる。こうした状況は、社会の分断を生み、他者に対する寛容性を失わせるのではないか、と懸念されているわけです。私も憲法の研究家として、AIの導入によってますます高度化するフィルター・バブルは、公共空間の形成や民主主義の維持にとって一定のリスクになると感じています。

AIの判断を鵜呑みにしない粘り強さを我々は持てるのか

憲法的な側面から見ると、AIが自動的に人間を格付けし、ラベリングしてしまうことが憲法13条の「個人の尊重」との関係で問題になりえます。歴史的には、かつての封建的身分制が「個人の尊重」との関係で問題とされました。身分制の下では、個人がどの身分集団や職能集団に属しているかで短絡的に評価・判断されることが多かった。集団のなかにも色々な「個人」がいるのに、その違いについてはしっかり見てくれない。要するに個人の評価に集団的バイアスがかかっているわけですね。これは、限定的な個人情報を基にAIが人間を効率よく仕分けしていく仕組みと似ています。AIは「個人」を見ているというより、「セグメント」（共通の属性をもった集団）を見ている。セグメントはとても細かくなりますが、あくまでも集団単位だ、ともいえます。同じセグメントに入っている人が一般的にどういう行動をとるか、という確率で評価しているわけですね。そうすると、セグメントには反映されない個人の潜在的な能力が捨象されることもありえます。AIの運用において、ともすれば実存する個人一人ひとりが顧みられなくなる側面があることを理解しておかなければなりません。

直近ではリクナビの内定辞退予測サービスが問題になりました。ここでも、「就活」という人生を左右しうるイベントにおいて、個人をアルゴリズムによって自動的に評価、判別することの是非が問われています。また、中国では、芝麻信用（セサミクレジット）という民間信用情報機関がAIを使ってつける信用スコアが広く普及していますが、日本でもJ.Score（ジェイスコア）、Yahoo!スコアなどのAIスコア・レンディングが広がりつつあります。これらの信用スコアをどのように扱うべきかという課題もあります。

諸外国を見ると、AIを使った個人についての重要な決定に対して法的な規律が設けられるようになってきています。欧州連合（EU）の一般データ保護規則（GDPR）では、AIの導出した評価のみで個人にとって重要な決定を下すことが原則禁止されています。セグメントベースの確率的評価によって人間を自動的に類型化していくことが、個人の尊重や人間の尊厳に反すると考えられているためです。日本ではまだ、個人を評価する重要な場面でAIを使うことの課題が表面化してきた段階ですので、深い議論が交わされているとは言えない状況です。

ここで、なぜ欧州がこのような先進的な規定を設けることができたのか、確認しておきたいと思います。欧州には、ナチスドイツの苦い記憶がいまだに残っています。ナチスドイツは国民の個人情報を収集し、広範なデータベースをつくって、ユダヤ人の選別を行っていました。ですので、政府や企業が制限なくパーソナル・データを収集・利用し、分析することがホロコーストのような人権侵害を引き起こすと考えられています。そのような経験があるからこそ、EUでは、データ保護の権利が「基本的人権」ととらえられ、憲法レベルで保障されているわけです。

私は、AI自体が悪いのではなく、AIの確率的判断を鵜呑みにしてしまう人間の弱さに問題の根源があると思っています。易きに流れてしまう、効率に流れてしまう人間の弱さ。そういったものを振り払い、AIの評価の妥当性を粘り強く思考する人間の力が試されていると感じています。エビデンスに基づかない人間の直感的な判断や決定も十分バイアスがかかっていました。AIの利用はこれを補正し、よりよい判断を促すことにもなるでしょう。重要なのは、人間とAIが双方の弱点を補い合う相互的で複合的な意思決定を実現することなのだと思います。

予測精度と引き換えに何を犠牲にするのかという議論は避けられない

今後日本でどういう議論が必要なのか。まずはデータに対する権利を基本的人権として位置づけていく内発的な議論だと思います。そもそも、日本の個人情報保護法は、OECDの理事会勧告を受けて外発的に作られたという側面があります。外圧を受けてしぶしぶ、という要素が強いのですね。そのこともあって、日本では、「データ保護がなぜ必要か」、「何のためのデータ保護なのか」という原理的で理念的な議論を欠いてきました。その結果として、個人情報保護制度が「過剰かつ過少」というグロテスクなかたちで形成されてきたわけです。本質的でないところを過剰に守りすぎて、身動きがとれなくなる。他方で、本質的な部分が保護されない。これは事業者にとっても個人にとっても不幸なことです。データ基本権という発想は、データ保護を基本的人権と結び付けることで、「データ保護のためのデータ保護」にならず、人権保障にとって必要な限りでの、目的のある保護を実現していくことにつながるように思います。

いかにAIの予測精度を保ちつつ人間に対する説明可能性を担保するかというのも、行われるべき議論のひとつです。AIを使って個人に関する重要な判断を行う場合、その判断を正当化し、本人に再挑戦の機会を与えるために、結論に至るまでのロジックを説明する必要性が生じます。ところが、深層学習のように複雑な学習方法を用いると、どうしてそのような結論に達したのかが人間にとって理解できなくなる。一般に「ブラックボックス」と呼ばれる問題です。仮に、解釈可能性や説明可能性を高めるために予測モデルを簡単にすれば、今度は予測精度が下がります。最近は「説明AI」など、技術上の解決がはかられてきていますが、深層学習の強みは、もともと人間が理解できない事物と事物との関係性を発見することにあります。ですので、深層学習は、本質的に、人間への説明になじまない。深層学習の強みと説明可能性との折り合いをどうつけるのかは、私たちが目指すべき社会像との関係で、真剣に議論していかざるをえないと思います。両者はトレードオフの関係に立つからです。

現状、日本でAIの議論をすると、企業も生活者も双方が満足するWin-Winの関係が主張されます。しかし今後は、説明可能性・透明性と予測精度とのトレードオフ、プライバシーと予測精度とのトレードオフとをきちんと可視化し、正面から議論していくことが必要です。例えば、総務省から8月に発表された「AI利活用ガイドライン」の中では、Win-Winの関係ではなくトレードオフの関係が図で示されています。AIを実装していく際のデメリットや人権リスクはあまり世間に出てこない部分もありますので、なるべくメディア等を通じて社会に対して可視化していくことが重要です。

ICFでは、多様なバックグラウンドを持った方と議論することを楽しみにしています。私はAIのネガティブな側面を強調するために登壇者として呼ばれることが多いのですが、実は私はどちらかというとAI肯定派なのです。どのようにAIを実装すれば自由や平等をよりうまく実現できるか。そのような話をデータサイエンス、スタートアップ、大企業の方たちとお話したいですね。AIのネガティブな部分を踏まえた上で、どうポジティブに持っていくのかという熱い議論を期待しています。

Leader’s GLOBAL EYES

今米国などで活発に議論されているのは、アルゴリズミック・フェアネス（アルゴリズムの公正）と呼ばれる問題です。この問題は、例えば犯罪者予測にAIを活用する場合に特に重要になります。実際に、米国の一部の自治体では犯罪者予測にAIを使っていますが、過去の犯罪データを使うため、どうしても黒人のスコアが高くなってしまいます。たしかに人種と犯罪との相関は存在するかもしれませんが、黒人が犯罪に手を染めてきたのは、社会構造的な要因によるところも小さくありません。それにもかかわらず、こうした相関をそのまま予測モデルに取り込んでしまうと、黒人に対する偏見が再生産され、黒人は差別されたままになってしまう。そのため、米国のいくつかの自治体では、犯罪予測アルゴリズムにおける人種のウェイトを人為的に下げたりしています。もちろん、それによって予測精度は下がり、短期的にはデメリットが強く出る可能性があります。しかし、中長期的にはインクルーシブで平等な社会が実現するといったメリットが強く出る可能性もあります。AIを利活用する際には、「何が公正か」という難しい倫理的判断を迫られることも少なくないのです。