Assim afirma um matemático formado em Harvard que se tornou quant em fundos de hedge.
Dados substanciais têm sido a palavra da moda nas empresas há décadas, junto com os empreendedores e a mídia mastigando incessantemente a promessa e os perigos de acumular grandes quantidades de dados.
Poucos estão em melhor posição para lidar com esses tipos de perguntas do que Cathy O'Neil. Ela é uma matemática formada em Harvard que viajou para trabalhar como quant em um fundo de hedge depois de terminar seu doutorado. Recentemente, ela escreveu um livro, Weapons of Math Destruction: How Big Data Aumenta Inequality and Threatens Democracy, sobre sua própria experiência.
Nele, ela levanta uma preocupação raramente discutida sobre grandes informações - não apenas pode estar sujeita a nossos preconceitos, mas, além disso, pode realmente legitimá-los e amplificá-los. Um algoritmo, ela argumenta, pode ser completamente racista.
Big Data, grandes equívocos
Em uma entrevista fascinante para a Harvard Gazette, '' O'Neil explica como sua experiência de operar no fundo durante o colapso financeiro abriu seus olhos para o fato de que a informação, que ela havia visto anteriormente como neutra e apolítica, poderia ser " armado. " Matemática, ela ouviu, pode ser forçada a mentir.
Mas o problema é mais profundo do que simplesmente atores de má religião manipulando conscientemente cálculos para encontrar os resultados que desejam (como avaliações mais altas do que as garantidas para títulos lastreados em hipotecas). O problema maior é que mesmo os quants e suas empresas que agem de boa fé podem causar danos profundos. O'Neil descreve:
"Dados substanciais são essencialmente uma forma de dividir vencedores e perdedores. Dados substanciais definem o perfil das pessoas. Eles contêm todos os tipos de conselhos sobre o - comportamento do consumidor, tudo prontamente disponível em registros públicos, votos, demografia. Faz o perfil das pessoas e transforma as pessoas em vencedores e perdedores de várias maneiras. Você atualmente é persuadível como um eleitor ou não é persuadível como eleitor? Você provavelmente será exposto ao seu anúncio de adiantamento de salário ou está atualmente imune a ele? "
OK, bom, você pode dizer, ninguém gosta de ser rotulado de perdedor, mas converse sobre todo o processo com uma linguagem menos inflamatória e você verá como classificar os clientes pode poupar a empresa de muito esforço desperdiçado e os clientes de muito marketing irrelevante e irrelevante . Mas isso ignora o fato de que dados enormes não são usados apenas para escolher quais vouchers oferecer aos clientes ou qual flyer enviar para um eleitor em particular.
O público, afirma O'Neil, "não entende muito bem como os [algoritmos] podem ser perniciosos, com frequência, isso porque normalmente não estamos sujeitos ao pior de todos os algoritmos: aqueles que impedem as pessoas de ter empregos porque não passar no teste de personalidade, aqueles que condenam réus criminais por mais tempo na prisão se eles forem considerados um perigo de alta reincidência, ou mesmo aqueles que são punições aleatórias para professores. "
Este processo de classificação nem sempre é vantajoso para as duas partes e para o classificador. Pode ser antagônico, beneficiando a empresa ou instituição e prejudicando a pessoa perfilada. Muitos homens e mulheres, sugere O'Neil, encobrem essa realidade.
Disfarçando o preconceito
E, pior ainda, os quants e as empresas costumam distorcer os cálculos que usamos para formar as pessoas nessas situações adversas e de grande risco. Os fatores usados para separar os 'vencedores' e os 'campeões' (ou qualquer rótulo que você gostaria de usar) podem consistir em características como gênero e raça que as pessoas sabem que são altamente suscetíveis a preconceitos - muito vulneráveis, na realidade , que você está legalmente proibido de usá-los para criar muitas das decisões mais importantes.
Você não pode dizer que não deu um empréstimo para uma família porque eles eram negros sem entrar em ação judicial. Mas muitos algoritmos, mesmo aqueles empregados por mercados de empréstimos revisados por pares, tiram conclusões com base, em parte, na corrida o tempo todo. Nós os consideramos como eles estão vestidos com um verniz de matemática.
Com suas críticas, O'Neil diz, ela deseja iniciar um diálogo sobre "o que significa para um algoritmo ser racista".
Big data '', conclui ela, tem um potencial enorme. Usados com cuidado, os algoritmos podem realmente tirar o preconceito individual da conclusão. Mas você tem que estar ciente da dificuldade de corrigir isso. E muitas pessoas, por exemplo, muitos quants, não são.