Quem nunca ouviu falar que as inteligências artificiais são o futuro? Depois de tantas obras de ficção futuristas sobre máquinas independentes e o avanço da tecnologia, nos esquecemos das pequenas ferramentas que permeiam nosso dia a dia, desde simples despertadores até transações bancárias e procedimentos cirúrgicos. Então, para falar a verdade, vale dizer que muito mais do que o futuro, a inteligência artificial é também o nosso presente, agindo de forma influente na maneira como enxergamos e construímos as estruturas desse mundo digitalizado. Assim, com IAs tão presentes no cotidiano, temos a impressão de que as fórmulas algorítmicas são objetivas e neutras, mais imparciais e isentas de julgamento do que qualquer ser humano. Será mesmo?

Discriminação via Machine Learning

Apesar dessa imagem de neutralidade atribuída às IAs, não são poucos os casos de ferramentas tecnológicas que reproduzem estereótipos nocivos de gênero, raça e geolocalização. Existem diversos relatos de pesquisadores apontando para o fato de que o sistema de anúncios do Google toma decisões indevidas com base nesse tipo de característica. Por exemplo, ao estimular pessoas a procurarem empregos online, o Google Ads apresentou listas com empregos melhores e mais rentáveis seis vezes mais frequentemente para homens do que para mulheres equivalentes, como aponta pesquisa da universidade Carnegie Mellon.

E não para por aí: segundo o artigo “ALGORITMOS RACISTAS: uma análise da hiper-ritualização da solidão da mulher negra em bancos de imagens digitais”, de Fernanda Carrera e Denise Carvalho, com base em pesquisa de diversos estudos sobre o tema e análise de uma série de bancos de imagem aponta que essas fontes, tão indispensáveis para o mercado publicitário e de conteúdo online, reforçam diversos estereótipos raciais e sexistas. Os dados da pesquisa mostram que, ao pesquisar a palavra “family” em 3 bancos de imagens diferentes, apenas 58 entre 920 resultados apresentavam famílias totalmente negras.

Além disso, homens e mulheres negros eram constantemente mais representados sozinhos do que brancos, reforçando estereótipos de raça. Programas de reconhecimento facial de celulares e computadores, e de reconstrução de imagens, como o PULSE, que usa inteligência artificial e machine learning para aproximar e ampliar a qualidade das imagens em baixa resolução, funcionam de maneira menos eficiente em pessoas de cor, sempre revertendo para o padrão imagético caucasiano absorvido pelas IAs em sua construção. Afinal, se uma máquina for alimentada com mais imagens de pessoas de pele clara, terá mais dificuldade para reconhecer e funcionar em imagens de pessoas de pele escura, resultando em situações absurdas como o erro do Google Fotos que marcava pessoas negras nas imagens como gorilas.

O enviesamento dos algoritmos impactam até mesmo importantes escolhas, como relata o artigo “Hidden in Plain Sight – Reconsidering the Use of Race Correction in Clinical Algorithms”, publicado no New England Journal of Medicine. De acordo com a pesquisa, mesmo que o paciente não saiba, a raça é incorporada à inúmeras ferramentas de decisões médicas e fórmulas consultadas em hospitais, mas os resultados apontam que muitas vezes essas ferramentas distanciam os recursos médicos de pacientes negros e negam a eles opções de tratamento disponíveis para pacientes brancos, apresentando diferenças de resultados de diagnóstico e recomendações de medicamentos.

Como e porque os algoritmos replicam o preconceito

Esses problemas podem ser explicados por algo chamado de “viés de algoritmo” – quando um programa aparentemente inofensivo passa a replicar padrões preconceituosos e discriminatórios de seu criador ou dos dados do qual se alimentou, o chamado “machine learning”. É o caso de Tay, um chatbot criado em 2016 pela Microsoft para imitar o comportamento de uma jovem estadunidense de 19 anos. O objetivo da empresa era conduzir pesquisas de entendimento de diálogo na IA por meio de plataformas de mensagem como o Twitter e o Kik. Apesar de ser programada para responder de maneira divertida, visando atingir o público jovem, poucas horas após seu lançamento, Tay já replicava falas conspiracionistas, anti-imigração, favoráveis ao nazismo e fortemente agressivas. Como resultado, em menos de 24 horas o chatbot já havia sido tirado do ar e muitos de seus posts foram excluídos.

Para entender o viés discriminatório das IAs, é preciso observar o contexto social em que vivemos e a maneira como são construídas. As inteligências artificiais ainda são programadas por pessoas e se alimentam do conteúdo à elas apresentado para se constituírem. A base de dados utilizada para “treinar” a máquina e o material à ela exposto são cruciais no seu processo de desenvolvimento. Portanto, apesar de se apresentarem como objetivas e imparciais, as decisões de automação ainda são tomadas por indivíduos repletos de valores culturais, sociais e pessoais, distantes dessa tão sonhada neutralidade. Fatores como identidade, nacionalidade, preconceito e outras dinâmicas de poder também fazem parte do processo de desenvolvimento tecnológico e não podem ser desconsiderados no processo produtivo.

Os desafios para encarar o problema

A criação das IAs ainda é um processo imperfeito. Um dos principais problemas do enviesamento dos algoritmos é que os engenheiros responsáveis pela programação não precisam ser ativamente racistas ou sexistas para que isso tenha impacto na sua criação. Na questão médica de recursos e tratamentos para pessoas negras que citamos anteriormente, por exemplo, muitas pesquisas acadêmicas são afetadas pelo empirismo e não pelo racismo de forma direta, como aponta o Dr. David Jones, historiador de Harvard responsável por ensinar ética à alunos de medicina e autor sênior do paper.

Além disso, na ciência da computação é muito comum que sistemas sejam desenvolvidos para funcionarem com diferentes tarefas em diferentes contextos, mas, segundo Andrew Selbst, pós-doutor no Data & Society Research Institute, em seu artigo “Fairness and Abstraction in Sociotechnical Systems”, esses programas acabam ignorando contextos sociais específicos para cada público em prol da portabilidade. Ou seja, quando a indústria tecnológica passa a investir em inteligências artificiais, o risco de inserir valores preconceituosos em um código que vai tomar decisões importantes na sociedade se torna cada vez mais real e problemático. 

É importante que as pessoas diretamente afetadas pelo enviesamento das IAs, público mal representado nas empresas de tecnologia, passem a ocupar esses espaços para ajudar na identificação de problemas de metodologia e aplicação. Existem também diversos debates a respeito de ferramentas e padrões que coloquem todas as empresas na mesma página, como uma forma de reforçar a regulamentação e a auditoria sobre a criação de inteligências tecnológicas. Ainda assim, o caminho para a resolução desse dilema é longo e extremamente complexo, envolvendo diversos fatores de produção tecnológica, estruturas sociais e principalmente de valores humanos.