Discriminação algorítmica

Discriminação algorítmica é um conceito que corresponde ao ato de algoritmos tomarem atitudes discriminatórias ou exclusórias em relação a seres humanos. Estas atitudes podem ser desde simples erros em detecções faciais, até a condenação de um indivíduo por algoritmos jurídicos baseado em suas características raciais. A discriminação algorítmica está diretamente relacionada ao viés algorítmico

Em sua maioria, os algoritmos discriminatórios se encontram na área de Inteligência artificial e Aprendizado de máquina nas quais decisões tem de ser tomadas baseadas em um banco de dados de entradas e outras técnicas de aprendizado e de tomada de decisões. Tendo isso em vista, se o banco de entradas para o aprendizado for inadequado para o treino em relação à diversidade, pluralidade e igualdade, ou a função de decisão for baseada em conceitos não éticos, o algoritmo de tomada de decisão pode vir a ter um comportamento discriminatório.

Viés algorítmico

O viés (em inglês bias) é um conceito que pode ser descrito como a "distorção do julgamento de um observador por estar ele intimamente envolvido com o objeto de sua observação". O viés algorítmico é um tipo de viés que está relacionado à construção de algoritmos. Quando uma máquina é treinada para ter uma inteligência artificial, ela necessita passar por um processo de aprendizagem para que tome as decisões que o seu criador julguem corretas. Para que isso ocorra, é necessária uma quantidade grande de dados aprendizado para que ela treine seu conhecimento sobre a decisão a ser tomada baseada em uma função de decisão escolhida no seu desenvolvimento[1].

Quando os algoritmos de aprendizagem de máquina são relacionadas a pessoas, eles podem possuir um viés discriminatório por diversos fatores, tanto relacionados ao seu treinamento quanto à sua implementação e isso é chamado de viés algorítmico.

Tipos de vieses algorítmicos

Estes são os principais tipos de viés algorítmico e os que ocorrem com a maior frequência:

  • Viés racial: Quando o viés é relacionado a alguma discriminação racial.
  • Viés relacionado ao gênero: Quando o viés é relacionado a alguma discriminação relacionada ao gênero de indivíduos.
  • Viés relacionado à nacionalidade: Quando o viés é relacionado a alguma discriminação à nacionalidade de indivíduos.
  • Viés relacionado à orientação sexual: Quando o viés é relacionado a alguma discriminação à orientação sexual de indivíduos.
  • Viés relacionado à deficiência: Quando o viés é relacionado a alguma deficiência física ou mental de indivíduos.
  • Viés relacionado à idade: Quando o viés é relacionado a alguma discriminação à idade de indivíduos.

Causas do viés algorítmico

O viés algorítmico é causado por falhas no processo do desenvolvimento de software, estas falhas podem ocorrer na etapa de design, desenvolvimento, distribuição, teste e distribuição. Na maioria das vezes o viés algorítmico é visto em softwares que usam inteligência artificial, mas pode ocorrer em outros tipos de software, principalmente por erros na hora da documentação de requisitos ou implementação. O viés algorítmico pode ser resultado de erros ou falta de atenção dos criadores do software, mas pode também pode ser proposital e ter sido criado por motivos preconceituosos e antiéticos [2].

Algoritmos faciais são uns dos principais tipos de software que sofrem do viés algorítmico. Estes algoritmos precisam de uma base de dados de faces para seu treinamento, quando essa base de dados não possui uma diversidade de rostos de formas, cores e tipos diferentes, o algoritmo não irá detectar as faces que não possuem características semelhantes às faces dos dados de aprendizado, resultando em um caso de viés algorítmico. Algoritmos de sugestão de anúncios também sofrem com o viés, por causa de um treinamento errado ou uma função de decisão mal ajustada, eles podem realizar sugestões racistas e machistas, como sugerir apenas produtos de limpeza ou beleza para mulheres e sugerir anúncios de consulta de ficha criminal para quando nomes predominantes em pessoas negras são buscados em ferramentas de pesquisa[2][3].

Casos reais de discriminações algorítmicas

Problemas de reconhecimento facial em câmeras digitais

Já ocorreram diversos casos de discriminação racial causados por algoritmos de reconhecimento facial em câmeras digitais e webcams. A câmera Nikon Coolpix S630 é um exemplo disso, a câmera tinha um sistema de detecção de fotos em que no qual avisava ao usuário quando as pessoas fotografadas haviam piscado. Quando pessoas com características asiáticas tiravam fotos com esta câmera, ela sempre emitia o alerta em que pessoas haviam piscado na foto. Há também o caso de webcams da HP que não conseguiam detectar o rosto de usuários negros em qualquer tipo de iluminação, um vídeo foi divulgado na internet onde uma mulher branca se aproximava da câmera e ela instantaneamente reagia e davam um zoom na face da mulher. Quando um homem negro se aproximava da mesma câmera, logo após a mulher, nada acontecia. Estes dois casos são um exemplo de discriminações causadas pelo viés algorítmico, o banco de dados de faces usado para o aprendizado destes algoritmos não possuía faces com características de pessoas com características asiáticas ou negras[4][5].

Sugestões de anúncios racistas

Em 2013, a Google foi acusada de emitir sugestões de comentários racistas por uma professora da universidade de Harvard. A professora Latanya Sweeney, após pesquisar seu próprio nome na ferramenta de busca, recebeu um anúncio de uma plataforma de checagem de histórico criminal com o seu nome nele. Após o ocorrido, Sweeney decidiu fazer uma pesquisa sobre a influência de aspectos raciais em plataformas de anúncio. Ela pesquisou mais de 2.000 nomes racialmente associados, que correspondiam a nomes que eram mais comumente dados a pessoas negras do que a pessoas brancas, e obteve o resultado que pesquisas de nomes associados a pessoas negras eram mais suscetíveis a serem bombardeados com anúncios de checagem de histórico criminal. Sweeney chamou atenção para o impacto que isso poderia causar aos afetados, se um empregador pesquisasse sobre o nome de um candidato de emprego negro e ele visse o resultado associado sugerindo que eles foram presos isso provavelmente prejudicaria o candidato e faria ele possivelmente perder a vaga de emprego. [6][7]

Análise de currículos discriminatória

Um jovem chamado Kyle Behm teve que abandonar seus estudos na universidade de Vanderbilt em Nashville por conta de um problema de saúde mental conhecido como desordem de bipolaridade. Após seu treinamento ele estava curado e pronto para ingressar em uma universidade e ficou sabendo de um trabalho de meio expediente em um supermercado recomendado por seu amigo. O seu amigo que estava de saída deste emprego indicou seu currículo para a vaga disponível que viria a estar disponível. Apesar da indicação, Kyle não foi chamado para a entrevista e ficou intrigado por causa disto, após perguntar ao seu amigo, ele descobriu que ele tinha sido marcado como alerta vermelho no teste de personalidade que ele havia feito para o emprego. O teste fazia parte de um software de seleção de empregados desenvolvido pela empresa Kronos. Após uma pesquisa de seu pai, Kyle descobriu que este teste possuía elementos de um mesmo teste que era o mesmo feito em hospitais para detecção de problemas de desordem de bipolaridade e por isso ele não estava sendo aprovado. Após o ocorrido, Kyle realizou uma aplicação para mais cinco empregos na área que ele morava e foi rejeitado nos cinco, mais tarde ele descobriu que estes outros empregos utilizavam o mesmo software para o processo seletivo de candidatos que o supermercado que ele enviou seu currículo em sua primeira tentativa, por este motivo Kyle não estava conseguindo ser selecionado para nenhum dos 6 empregos que ele realizou sua aplicação [8][9].

Outros exemplos de discriminação algorítmica

  • Algoritmos de reconhecimento de voz que só reconheciam vozes masculinas.
  • Algoritmos de previsão de crimes que apenas sugeriam crimes em vizinhanças que a população era predominantemente negra.
  • Plataformas de sugestão emprego que só mostravam empregos que pagavam melhor para clientes homens.
  • Algoritmos de concessão de empréstimos que tinham preferência por clientes homens [10].

Código fechado e o viés algorítmico

Softwares autorais e que possuem políticas de proteção ao seu código, ou seja, não fazem parte dos softwares livres e de código aberto são um grande problema para a detecção de viés algorítmico. Muitas vezes softwares que possuem código fechado tomam decisões importantes sobre a vida das pessoas como a decisão se ela é apta a um emprego, se ela será aceita em um plano de saúde, se ela receberá permissão para obter um cartão de crédito, se ela deve ser demitida do seu emprego ou se ela deve ou não permanecer mais tempo na prisão. Como o código destes softwares não está disponível para análise, justamente por ser um software proprietário, os técnicos e cientistas de universidades e centros de pesquisa que lutam contra o viés algorítmico não conseguem analisar as linhas de código destes programas de computador. Pelo motivo da falta de transparência, o viés algorítmico é desconhecido em uma série de programas que tomam decisões importantes e que de fato impactam na vida das pessoas. Apesar disto, cientistas utilizam métodos de detecção de viés algorítmico em softwares de código fechado por meio da análise do seu comportamento e dos resultados que eles produzem ao serem estimulados por determinadas entradas. Artifícios legais também são utilizados para forçar empresas que são suspeitas de produzirem softwares com viés algorítmico a abrirem seu código para um grupo de analisadores técnicos. Esta falta de transparência é discutida por Cathy O' Neil em seu livro "Weapons of math destruction" e o grande impacto que isso causa na sociedade[8][11].

Impactos causados pela discriminação algorítmica

  • Negação de crédito a um indivíduo.
  • Negação de emprego a um candidato.
  • Negação de um serviço de um produto a um consumidor.
  • Desvantagens discriminatórias entre candidatos a um emprego.
  • Negação de um serviço de plano de saúde.
  • Injúria moral.
  • Demissão de funcionários.
  • Condenação penal injusta.

Algorithmic Justice League (AJL)

A liga de justiça algorítmica (em inglês Algorithmic Justice League) ou AJL, é uma iniciativa criada por Joy Buolamnwini que tem como objetivo o combate ao viés algorítmico. Ela já conta com diversos membros ao redor do mundo incluindo cidadãos, artistas, pesquisadores e ativistas. A liga da justiça algorítmica segue uma tríade de medidas para combater o viés algorítmico:

  • Identificar o viés algorítmico ao desenvolver ferramentas para o teste de viés em algoritmos de aprendizagem de máquina.
  • Mitigar o viés algorítmico ao desenvolver métodos para inclusão em amplo espectro durante o design, desenvolvimento, teste e distribuição de softwares.
  • Chamar atenção através de materiais publicitários sobre o problema do viés algorítmico, o impacto causado por ele nos indivíduos afetados e outras informações importantes sobre este tema. [12][13]

Referências

  1. [1] Machine Learning - Tom M. Mitchell - 1997
  2. a b [2] Joy Buolamwini:How I'm fighting bias in algorithms - TED - 2016
  3. [3] Harvard Accuses Google Ads of Racism - The Young Turks - 2013
  4. [4] Are Face-Detection Cameras Racist? - TIME, 2010
  5. [5]HP camera 'can't see' black faces - BBC, 2009
  6. [6]Sweeney, Latanya. "Discrimination in online ad delivery." Queue 11.3 (2013): 10.
  7. [7]Google's Online Ad Results Guilty Of Racial Profiling, According To New Study - HuffPost, 2013
  8. a b [8] Weapons of math destruction - A book by Cathy O'Neil, 2016
  9. [9] How algorithms rule our working lives - The Guardian, 2016
  10. [10] Discrimination by algorithm: scientists devise test to detect AI bias - The Guardian - 2016
  11. [11] Holding AI to account: will algorithms ever be free from bias if they're created by humans? - Wired, 2016
  12. [12] Algorithmic Justice League - 2016
  13. [13] The Algorithmic Justice League - Medium, 2016


Veja Também

Referências Externas

  • When algorithms discriminate - New York Times, 2015
  • AI programs exhibit racial and gender biases, research reveals - The Guardian, 2017 ]
  • [Bias test to prevent algorithms discriminating unfairly - News Scientist, 2017]
  • [Sandvig, Christian, et al. "Can an Algorithm be Unethical?." Ann Arbor 1001.48109 (2015): 1285.]
  • [Chander, Anupam. "The Racist algorithm?." (2016).]
  • [A white mask worked better': why algorithms are not colour blind - The Guardian, 2017]
  • [Is an algorithm any less racist than a human? - The Guardian, 2016]
  • [Discrimination, Algorithms and Privacy - Yale Law Schoo, 2017l]