Eso afirma un matemático formado en Harvard que se convirtió en un fondo de cobertura.
Los datos sustanciales han sido una palabra de moda en las empresas durante décadas, junto con los empresarios y los medios de comunicación que mastican sin cesar la promesa y los peligros de acumular grandes cantidades de datos.
Pocos están mucho mejor posicionados para lidiar con este tipo de consultas que Cathy O'Neil. Es una matemática formada en Harvard que viajó para trabajar como cuantitativa en fondos de cobertura después de terminar su doctorado. Recientemente, escribió un libro, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, sobre su propia experiencia.
En él, ella plantea una preocupación rara vez discutida acerca de la información grande: no solo puede estar sujeta a nuestros prejuicios, sino que, además, puede legitimarlos y amplificarlos. Un algoritmo, argumenta, puede ser completamente racista.
Big Data, grandes conceptos erróneos
En una fascinante entrevista con la Harvard Gazette, "O'Neil explica cómo su experiencia de operar en el fondo durante la crisis financiera le abrió los ojos al hecho de que la información, que antes había visto como neutral y apolítica, podría ser" armado ". A las matemáticas, escuchó, se las puede obligar a mentir.
Pero el problema es más profundo que simplemente los malos actores de la religión manipulan a sabiendas los cálculos para encontrar los resultados que desean (como calificaciones más altas que las garantizadas para los valores respaldados por hipotecas). El problema mayor es que incluso los quants y sus empresas que actúan de buena fe pueden terminar haciendo un daño profundo. O'Neil describe:
"Los datos sustanciales son esencialmente una forma de dividir a los ganadores y los perdedores. Los datos sustanciales perfilan a las personas. Tiene todo tipo de consejos sobre el comportamiento del consumidor, todo lo que está disponible en los registros públicos, los votos, la demografía. Perfila a las personas y convierte a las personas en ganadores y perdedores en una variedad de formas. ¿Es usted actualmente persuadible como un votante o no lo es como un votante? ¿Es probable que esté expuesto a su anuncio de anticipo de día de pago o es actualmente inmune a esta publicidad de préstamos de día de pago? "
Bien, se podría decir que a nadie le gusta ser etiquetado como un perdedor, pero charle sobre todo el proceso con un lenguaje menos inflamatorio y podrá ver cómo la clasificación de clientes puede ahorrarle a la empresa un gran esfuerzo inútil y a los clientes mucho marketing molesto e irrelevante. . Pero eso pasa por alto el hecho de que enormes datos no solo se utilizan para elegir qué cupones ofrecer a los compradores o qué volante enviar por correo a un votante en particular.
El público, afirma O'Neil, "no comprende muy bien lo perniciosos que pueden ser [los algoritmos], con frecuencia, esto se debe a que, por lo general, no estamos sujetos al peor de todos los algoritmos: los que impiden que las personas tengan trabajo porque no pasan la prueba de personalidad, aquellos que condenan a los acusados por más tiempo en la cárcel si se les considera un peligro de reincidencia alta, o incluso aquellos que son castigos aleatorios para los maestros de escuela ".
Este proceso de clasificación no siempre es beneficioso para el aspersor y el clasificador. Puede ser contradictorio, beneficiando a la empresa o institución y perjudicando a la persona perfilada. Muchos hombres y mujeres, sugiere O'Neil, pasan por alto esta realidad.
Disfrazar el sesgo
Y lo que es peor, los quants y las empresas a menudo crean un sesgo en los cálculos que usamos para formar a las personas en estas situaciones adversas y de grandes riesgos. Los factores utilizados para separar a los 'ganadores' de los 'campeones' (o cualquier etiqueta de forma que le gustaría utilizar), pueden consistir en características como el género y la raza que la gente sabe que son altamente susceptibles al sesgo, tan altamente vulnerables, en realidad. , que tiene prohibido legalmente usarlos para crear muchas de las decisiones más importantes.
No se puede decir que no le dio un préstamo a un hogar porque eran negros sin enfrentar una demanda. Pero muchos algoritmos, incluso los empleados por los mercados de préstamos revisados por pares, hacen conclusiones basadas, en parte, en la raza todo el tiempo. Los tomamos como si estuvieran vestidos con un barniz de matemáticas.
Con sus críticas, dice O'Neil, desea iniciar un diálogo sobre "lo que significa que un algoritmo sea racista".
Big data '', concluye, tiene un potencial enorme. Usados cuidadosamente, los algoritmos pueden eliminar los prejuicios individuales de la conclusión. Pero debes ser consciente de la dificultad para corregirlo. Y mucha gente, por ejemplo, muchos cuantos, no lo son.