アルゴリズムバイアス

レコメンダシステムによる決定を示す流れ図。だいたい2001年[1]。
人工知能
概念
研究手法
機械学習
応用（英語版）
  • 医療（英語版）
    • 精神医療（英語版）
  • 音楽（英語版）
  • 機械翻訳
  • 金融（英語版）
  • 軍事（英語版）
  • 計画（英語版）
  • 産業（英語版）
  • 政府（英語版）
  • 生物情報学（英語版）
  • 地球科学（英語版）
  • ディープフェイク
  • 美術（英語版）
  • 物理学（英語版）
課題と哲学（英語版）
歴史とできごと
歴史
  • 進化（英語版）
  • 人工知能時代 （英語版）
  • 人工知能の冬 （英語版）
  • 人工知能ブーム （英語版）
  • 年表（英語版）
できごと
フィクション
法規制
組織
  • Agence francophone pour l'intelligence artificielle
  • DeepMind
  • OpenAI
  • Partnership on AI
著作
  • Open letter on artificial intelligence (2015)
  • AI Superpowers(2018)
  • Déclaration de Montréal pour un développement responsable de l'intelligence artificielle(2018)
  • Artificial Intelligence: A Modern Approach(2020)
一覧
  • 映画（英語版）
  • 家庭用ロボット（英語版）
  • 計画（英語版）
  • チャットボット（英語版）
  • ディープラーニング（英語版）
  • 美術家（英語版）
  • フィクション
  • 話題（英語版）
用語集
  • 用語集（英語版）
カテゴリカテゴリ
  • 表
  • 話
  • 編
  • 歴

アルゴリズムの意図された働きからの差異によって他に対するひとつの範疇を「特権（あるいはえこひいき）」するような、「不公平」な結果を生み出す、コンピュータシステムにおける体系的、反復的な誤りをアルゴリズムバイアスは説明する。

アルゴリズムの設計や、意図しないまたは予期せぬ利用またはデータがコードされる方法に関係する決定、集積、選択、またはアルゴリズムを学習させる利用だけに限らないものを含む、さまざまな要因からバイアスは生じうる。例えば、アルゴリズムバイアスは、検索エンジンの結果やソーシャルメディアプラットフォーム において観察されてきた。このバイアスは人種、性別、'性的指向'（英: sexuality ）や民族の社会的偏見の強化による、プライバシーの侵害において慎重さを欠いた打撃を有しうる。アルゴリズムバイアスの研究は「体系的かつ不正な」差別を反映するところのアルゴリズムについて多分に関わる。このバイアスは専（もっぱ）ら最近ではヨーロッパ連合のEU一般データ保護規則（2018）や提案された人工知能法 （2021）のような法律の枠組みにおいて位置づけられる。

アルゴリズムがそれらの社会、政治、制度、ならびに慣習を組織づける能力を拡げるにつれ、社会学者は実際の世界に打撃を与えうる予期しない結果やデータの操作における方法に関わるようになった。アルゴリズムは多分に中立的かつ非バイアスであると考えられるので、（自動化の偏見（英語: automation bias ） の心理的現象に従うという部分において ）それらは人間の経験よりも過大に先例を不正確に投影しうる、そして幾つかの場合では、アルゴリズムの信頼性は　それらの結果に対する人間の責任と置換しうる。バイアスは既存の文化的、社会的もしくは制度的、予想の結果としてとしてアルゴリズムのシステムの中へと混入しうる；それらの設計の技術的限界のせいで；または先行する文脈での利用にあることによって、またはソフトウェアの最初の設計に考慮されていなかった人々によって。

オンラインヘイトスピーチ（英語: online hate speech）の広がる選挙結果に至るまでの場合においてアルゴリズムバイアスは引用されてきた。既存の人種的、社会経済的、性別のバイアスが複合した、刑事裁判、医療、治療においてもそれは起きている。不均衡なデータ集合から起因する、暗色の皮膚の顔を正確に識別する顔認識技術（英: facial recognition technology）の相対的な不可能性は黒人の累犯者と結び付けてきた。アルゴリズムバイアスの、理解、研究、そして発見における問題は、取引の秘密としてたいてい扱われるものである、アルゴリズムの私的所有である性質により残る。完全な透明性が与えられた場合でも、一定のアルゴリズムの複雑さはそれらの機能の理解の障害として対峙する。さらに、アルゴリズムは変化するかもしれない、または分析するには、予想されたまたは容易に再現されない方法での入力や出力に応答するかもしれない。多くの場合、単一のウェブサイトまたはアプリケーションであっても、検証するような単一の「アルゴリズム」はない、しかし、その同じようなサービスの利用者の間で、横断的に関係する多くのプログラムとデータ入力のネットワークはある。

定義

非常に単純なアルゴリズムを説明している、簡単なコンピュータープログラムがどう判断するかについての或る1969年の図式。

アルゴリズムは 定義するのが難しい（英語版）[2]、しかしプログラムが出力を生むデータをどう読み、集め、処理そして分析するのかを指示するリストとして普通は理解されるかもしれない[3]。

ソフトウェアの応用物とハードウェアに組み込まれたアルゴリズムの処理の政治的、社会的な打撃的影響、およびアルゴリズムの中立性の横たわる仮定についての問題の理由で、今日の社会科学者らはそれらに関わっている[4]。'アルゴリズムの偏見'（英: algorithmic bias）という用語は、その他の者よりも恣意的にある集団を特権づけるような、'不公平な'（英: unfair）結果を生み出すものである、系統的反復的'誤り'（英: error）をいう。たとえば、与信得点 （英語: credit score ）アルゴリズムは、財務的な範囲に関わる矛盾のない計測であれば、不公平でなく分割払いを拒むかもしれない。

方法

いくつかの道筋でアルゴリズムに偏見が入りうる。データの一揃いを組み立てる際に、データは集められ、計数化され、適合されて、人為的に設計された目録（英語版）範疇に応じたデータベースに編入される[5]。次に、それらのデータをどう評価して並べるかのために、プログラマーは優先順位、または階層構造を割り当てる。これは、データをどう範疇化するか、そしてどのデータを含めるかまたは取り去るかについての、人間の判断を必要とする[6]。幾つかのアルゴリズムは人間が選んだ規準に基づいてそれら自身のデータを集める。それは人間の設計者の偏見を反映しうる[7]。

打撃

商業上の影響

部分的なものとして存在するそのアルゴリズムを間違うかもしれない利用者の知識なしには、法人のアルゴリズムは金融上の取り決めや会社間の契約での見えない優遇で歪められる。たとえば、アメリカン航空は1980年代に飛行調査アルゴリズム（英: flight-finding algorithm）をつくった。そのソフトウェアは顧客へ多くの航空路から飛行の範囲を提示した。 しかし、価格や利便性の考慮なしに、その自らの飛行を押しあげる要因を重みづけた。[8][9]

投票行動

アメリカ合衆国とインドでの浮動層に関する一連の研究は、おおよそ20％の割合で検索エンジンの結果が投票結果を動かせたことを見出した。[10]

性差別

2016年に、職業のネットワークサイトのLinkedInは、検索質問についての応答において女性の名前の男性への変更をすすめるような、発見をされた。[11]

人種や民族の差別

アルゴリズムは意思決定における人種的な権利侵害をあいまいにさせる方法として批判されつづけてきた[12][13][14]どのように特定の人種と民族の集団が過去に扱われていたかによって、データはしばしば隠れたバイアスを含んでいるからである[15]。たとえば、黒人の人々は同じ犯罪を犯した者である白人の人々よりも長い刑を受けやすい[16][17]。これはデータにおいて元の偏見をシステムが増長したことを意味する可能性がある。

監視

異常な振る舞いから正常な振る舞いを見分け、そして誰が特定の時刻に特定の場所にいたかを確認するアルゴリズムを要求するから、監視カメラソフトウェアは本来政治的かもしれない[18]。人種的な帯域から顔面を認知する、そのようなアルゴリズムの能力は、その学習データベースでの画像の人種的多様性によって制限されることを示されてきた；もし写真の多数がひとつの人種または性別に属するのであれば、そのソフトウェアはそのほかの人種または性別の認知よりも優る[19]。

グーグル検索

利用者が「完全に」自動的なものである検索結果を生じさせる場合に、グーグルは性差別や人種差別の'自動完了'（英: autocompletion）の文献を取り除くことに失敗した。たとえば、Algorithms of Oppression: How Search Engines Reinforce Racismのサフィヤ・ノーブルは、ポルノ画像での結果を報告したものである、「黒人の少女」についての検索の事例に注目する。グーグルは、それらが非合法と考えられることなしに、これらのページを消すことはできないと主張した[20]。

研究の障害

学術的に厳密な研究と公衆の理解への適用の邪魔をする、大規模なアルゴリズムバイアスの研究を幾つかの問題が妨げる。[21]

公平性の定義

詳細は「 公平性 (機械学習) 」を参照

アルゴリズムバイアスに関する文献は公平性を直すことにおいて焦点を合わせる、しかし公平性の定義は多分にお互いに、そして機械学習の最適化を実現するには両立しない。たとえば、「処理の平等性（英: equality of treatment ）」として公平性を定義することが個人の間の相違を積極的に考慮するかもしれないのに対して、「結果の平等性（英: equality of outcomes ）」として公平性を定義することは、すべての人々に対して同じ結果を作り出すシステムを単に意味するかもしれない。[22]

複雑さ

アルゴリズム的処理は、しばしばそれを使う人々の理解を超える複雑系である。[23][24]大規模な運用はそれらが作られるうちにこれらが込み入ることによっていっそう解明できないかもしれない[25]。今時のプログラムの方法と処理はコードの入力や出力のそれぞれの置き換えを知ることができないことによってしばしば不明瞭になってしまう[26]。 社会学者のブルーノ・ラトゥールはこの過程を、「科学的かつ技術的な作業はそれ自体の成功により不可視にされる。効率的に機械が動くとき、事実上解決済みのとき、人はそれの入力と出力においてのみ注意が必要となる、そしてその内部の複雑さには必要ではない。よって、逆説的には、科学と技術が成功するにつれ、それらは不透明であいまいになる」もののなかのひとつの過程のブラックボックス化として見定めた[27] 。

複雑さの一例は、カスタマイズされたフィードバックのなかへの入力のその範囲に見出しうる。ソーシャルメディアサイトフェイスブックは利用者へのソーシャルメディアの提供の配列順を決定するために、2013には少なくとも100,000データポイントが織り込まれている[28]。

機械学習や、クリックのような利用者の相互作用、サイト滞在時間、その他の測定にもとづく アルゴリズムの個人化（英: parsonalization）を通した複雑さがさらに加わる。これらの個人的な調節は　アルゴリズムを理解するおおもとの注意を紛らわしくさせる[29][24]。

透明性の欠如

商用のアルゴリズムは私的所有であり、企業秘密として扱われるかもしれない。

機微な範疇におけるデータの欠如

実際のバイアスの追跡を理解する際の著しい障壁は、多分に積極的にデータを集めたり処理するときに考えたりしない、反差別法 （英語: anti-discrimination law ）によって保護される個人の人口統計のような、ものである範疇である。

法的規制

アメリカ合衆国

産業、セクター、そしてどのようにアルゴリズムが使われるかによって異なり、多くの州と連邦の法律を通して問題に取り掛かる、アルゴリズムバイアスを規制する、一般的な法制を、アメリカ合衆国は有しない[30]。

インド

2018年7月31日で、Personal Data Bill （日: 個人情報法）の法案が提示された[31]。法案は、データの記憶、処理、移転についての標準を扱う。それはアルゴリズムの用語を用いないけれども、「任意の処理又は受託者によって請け負われた任意の処理の類（たぐい）の、結果としての危害」についての条項を成す。

ヨーロッパ連合

2018年に施行されたデータ保護の制度をヨーロッパ連合が改定したものである、EU一般データ保護規則（GDPR）は、「属性づけ（英語版）を含む自動的な個人の意思決定」を22条で述べる。2024年3月に施行されたAI法では、生成AIの顔認識や生体認証による個人の特徴、社会経済地位のランク付けなど差別的な利用を「許容できないリスク」に位置付け、禁止している。

関連項目

脚注または引用文献

ウェブサイト

  • Jacobi, Jennifer (13 September 2001), Patent #US2001021914 
  • Striphas, Ted (1 Feb 2012), What is an Algorithm? – Culture Digitally 
  • Seaver, Nick (2013), Knowing Algorithms, Media in Transition 8, Cambridge, MA, April 2013 
  • McGee, Matt (16 August 2013), EdgeRank Is Dead: Facebook's News Feed Algorithm Now Has Close To 100K Weight Factors 
  • Day, Matt (31 August 2016), How LinkedIn's search engine may reflect a gender bias 
  • LaFrance, Adrienne (2015-09-18), The Algorithms That Power the Web Are Only Getting More Mysterious 
  • India Weighs Comprehensive Data Privacy Bill, Similar to EU's GDPR, (2018-07-31) 

ウェブアーカイブ

  • Friedler, Sorelle A.; Scheidegger, Carlos; Venkatasubramanian, Suresh (2016), On the (im)possibility of fairness 

書籍

  • Latour, Bruno (1999). Pandora's Hope: Essays On the Reality of Science Studies. Cambridge, Massachusetts: Harvard University Press. ISBN 0674653351 
  • Cormen, Thomas H.; Leiserson, Charles E.; Rivest, Ronald L.; Stein, Clifford (2009). Introduction to Algorithms (3rd ed.). Cambridge, Mass.: MIT Press. p. 5. ISBN 978-0-262-03384-8 
  • Nakamura, Lisa (2009). Magnet, Shoshana; Gates, Kelly. eds. The New Media of Surveillance. London: Routledge. pp. 149–162. ISBN 978-0-415-56812-8 
  • Gillespie, Tarleton; Boczkowski, Pablo; Foot, Kristin (2014). Media Technologies. Cambridge: MIT Press. ISBN 9780262525374 
  • Noble, Safiya Umoja (2018-02-20). Algorithms of Oppression: How Search Engines Reinforce Racism. New York. ISBN 9781479837243 

新聞

  • Singer, Natasha (2013年2月2日). “Consumer Data Protection Laws, an Ocean Apart”. The New York Times 

雑誌

  • Petersilia, Joan (January 1985). “Racial Disparities in the Criminal Justice System: A Summary”. Crime & Delinquency 31 (1): 15–34. 
  • Friedman, Batya; Nissenbaum, Helen (July 1996). “Bias in Computer Systems”. ACM Transactions on Information Systems 14 (3): 330–347. 
  • Alexander, Rudolph; Gyamerah, Jacquelyn (September 1997). “Differential Punishing of African Americans and Whites Who Possess Drugs: A Just Policy or a Continuation of the Past?”. Journal of Black Studies 28 (1): 97–111. 
  • Furl, N (December 2002). “Face recognition algorithms and the other-race effect: computational mechanisms for a developmental contact hypothesis”. Cognitive Science 26 (6): 797–815. 
  • Introna, Lucas; Wood, David (2004). “Picturing algorithmic surveillance: the politics of facial recognition systems”. Surveillance & Society 2: 177–198. 
  • Granka, Laura A. (27 September 2010). “The Politics of Search: A Decade Retrospective”. The Information Society 26 (5): 364–374. 
  • Sandvig, Christian; Hamilton, Kevin; Karahalios, Karrie; Langbort, Cedric (2014). Gangadharan, Seeta Pena; Eubanks, Virginia; Barocas, Solon. eds. “An Algorithm Audit”. Data and Discrimination: Collected Essays. 
  • Sandvig, Christian; Hamilton, Kevin; Karahalios, Karrie; Langbort, Cedric (22 May 2014). “Auditing Algorithms: Research Methods for Detecting Discrimination on Internet Platforms”. 64th Annual Meeting of the International Communication Association. 
  • Epstein, Robert; Robertson, Ronald E. (18 August 2015). “The search engine manipulation effect (SEME) and its possible impact on the outcomes of elections”. Proceedings of the National Academy of Sciences 112 (33): E4512–E4521. 
  • Graham, Stephen D.N. (July 2016). “Software-sorted geographies”. Progress in Human Geography 29 (5): 562–580. 
  • Buolamwini, Joy; Gebru, Timnit (21 January 2018). “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification”. Proceedings of Machine Learning Research 81 (2018): 77–91. 
  • Marco Marabelli; Sue Newell; Valerie Handunge (2021). “The lifecycle of algorithmic decision-making systems: Organizational choices and ethical challenges”. Journal of Strategic Information Systems 30 (3): 1–15. 

参考文献

  • Noble, Safiya Umoja (20 February 2018). Algorithms of Oppression: How Search Engines Reinforce Racism. New York: NYU Press. ISBN 978-1479837243