Ainsi affirme un mathématicien formé à Harvard devenu quant de fonds spéculatifs.
Les données substantielles sont un mot à la mode pour les entreprises depuis des décennies maintenant, avec les entrepreneurs et les médias qui mâchent sans cesse la promesse et les risques d'accumuler de grandes quantités de données.
Rares sont ceux qui sont mieux placés pour répondre à ces types de requêtes que Cathy O'Neil. C'est une mathématicienne formée à Harvard qui a voyagé pour travailler comme quant de fonds spéculatifs après avoir terminé son doctorat. Elle a récemment écrit un livre, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, sur sa propre expérience.
Dans ce document, elle soulève une inquiétude rarement discutée concernant les grandes informations - non seulement elles peuvent être soumises à nos préjugés, mais en plus, elles peuvent en fait les légitimer et les amplifier. Un algorithme, soutient-elle, peut être complètement raciste.
Big Data, grandes idées fausses
Dans une interview fascinante avec la Harvard Gazette, «O'Neil explique comment son expérience d'opération dans le fonds pendant la crise financière lui a ouvert les yeux sur le fait que des informations qu'elle considérait auparavant comme neutres et apolitiques pourraient être» armé." Math, a-t-elle entendu, peut être forcée de mentir.
Mais le problème va plus loin que simplement de mauvais acteurs religieux manipulant sciemment des calculs pour trouver les résultats qu'ils souhaitent (tels que des notations plus élevées que celles justifiées pour les titres adossés à des hypothèques). Le plus gros problème est que même les quants et leurs entreprises qui agissent de bonne foi peuvent finir par causer un préjudice grave. O'Neil décrit:
«Les données substantielles sont essentiellement un moyen de diviser les gagnants et les perdants. Des données substantielles profilent les gens. Elles contiennent toutes sortes de conseils sur - le comportement des consommateurs, tout ce qui est facilement disponible dans les archives publiques, les votes, la démographie. et perdants de diverses manières. Êtes-vous actuellement persuadable comme un électeur ou n'êtes-vous pas persuadable en tant qu'électeur? Êtes-vous susceptible d'être exposé à votre annonce d'avance sur salaire ou êtes-vous actuellement insensible à cette publicité de prêt sur salaire? "
OK, vous pourriez dire que personne n'aime être qualifié de perdant, mais discutez de l'ensemble du processus avec un langage moins incendiaire et vous verrez peut-être comment le tri des clients pourrait épargner à l'entreprise beaucoup d'efforts inutiles et aux clients beaucoup de marketing ennuyeux et non pertinent. . Mais cela ne tient pas compte du fait que d'énormes données ne sont pas seulement utilisées pour choisir les bons à offrir aux acheteurs ou le dépliant à envoyer à un électeur en particulier.
Le public, affirme O'Neil, ne «comprend pas tout à fait à quel point [les algorithmes] peuvent être pernicieux, fréquemment, parce que nous ne sommes généralement pas soumis au pire de tous les algorithmes: ceux qui empêchent les gens d'avoir un emploi puisqu'ils ne le font pas. passer le test de personnalité, ceux qui condamnent des accusés criminels plus longtemps en prison s'ils sont qualifiés de risque élevé de récidive, ou même ceux qui sont des punitions aléatoires pour les enseignants. "
Ce processus de tri n'est pas toujours gagnant-gagnant pour le saupoudré et le trieur. Cela peut être contradictoire, profiter à l'entreprise ou à l'institution et nuire à la personne profilée. Beaucoup d'hommes et de femmes, suggère O'Neil, passent sous silence cette réalité.
Préjugé déguisé
Et pire encore, les quants et les entreprises font souvent un biais dans les calculs que nous utilisons pour former les gens dans ces situations conflictuelles et à gros enjeux. Les facteurs utilisés pour séparer les `` gagnants '' et les `` champions '' (ou quel que soit le libellé que vous souhaitez utiliser) peuvent consister en des caractéristiques telles que le sexe et la race dont les gens savent qu'ils sont très sensibles aux préjugés - si très vulnérables, en réalité , dont il vous est légalement interdit de les utiliser pour créer bon nombre des décisions les plus conséquentes.
Vous ne pouvez pas dire que vous n'avez pas accordé de prêt à un ménage parce qu'il était noir sans faire face à un procès. Mais de nombreux algorithmes, même ceux utilisés par les marchés de prêts évalués par les pairs, tirent des conclusions basées, en partie, sur la race tout le temps. Nous les prenons comme ils sont habillés d'un vernis de mathématiques.
Avec ses critiques, dit O'Neil, elle souhaite entamer un dialogue sur «ce que signifie pour un algorithme d'être raciste».
Le Big Data '', conclut-elle, recèle un énorme potentiel. Utilisés de manière réfléchie, les algorithmes peuvent en fait éliminer les préjugés individuels de la conclusion. Mais il faut être conscient de la difficulté pour y remédier. Et beaucoup de gens, par exemple, de nombreux quants, ne le sont pas.