Zo beweert een aan Harvard opgeleide wiskundige die kwantitatief hedgefonds is geworden.
Substantiële data is al decennia lang een modewoord voor bedrijven, samen met ondernemers en de media die eindeloos kauwen op de belofte en gevaren van het vergaren van grote hoeveelheden data.
Weinigen zijn veel beter gepositioneerd om met dit soort vragen te worstelen dan Cathy O'Neil. Ze is een op Harvard opgeleide wiskundige die na het afronden van haar Ph.D. Ze schreef onlangs een boek, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, over haar eigen ervaringen.
Daarin werpt ze een zelden besproken zorg over grote informatie naar voren - het kan niet alleen onderhevig zijn aan onze vooroordelen, maar bovendien kan het deze zelfs legitimeren en versterken. Een algoritme, zo stelt ze, kan volkomen racistisch zijn.
Big Data, grote misvattingen
In een fascinerend interview met de Harvard Gazette, '' legt O'Neil uit hoe haar ervaring met het opereren in het fonds tijdens de financiële crisis haar ogen opende voor het feit dat informatie, die ze eerder als neutraal en apolitiek had gezien, zou kunnen zijn '' bewapend. " Wiskunde, hoorde ze, kan worden gedwongen te liegen.
Maar het probleem gaat dieper dan simpelweg kwaadwillende actoren die willens en wetens berekeningen manipuleren om de gewenste resultaten te vinden (zoals hogere ratings dan gerechtvaardigd was voor door hypotheek gedekte effecten). Het grotere probleem is dat zelfs quants en hun bedrijven die te goeder trouw handelen, uiteindelijk grote schade kunnen aanrichten. O'Neil beschrijft:
"Aanzienlijke gegevens zijn in wezen een manier om winnaars en verliezers te verdelen. Aanzienlijke gegevensprofielen van mensen. Het bevat allerlei soorten advies over het - consumentengedrag, alles direct beschikbaar in openbare registers, stemmen, demografie. Het profileert mensen en het vormt mensen tot winnaars. en verliezers op verschillende manieren. Bent u momenteel als kiezer te overtuigen of bent u als kiezer niet te overtuigen? Wordt u waarschijnlijk blootgesteld aan uw uitbetalingsadvertentie of bent u momenteel ongevoelig voor deze betaaldagleningadvertenties? "
Oké, zou je kunnen zeggen, niemand houdt ervan om als een loser bestempeld te worden, maar praat over het hele proces met minder opruiende taal en je zou kunnen zien hoe het sorteren van klanten het bedrijf veel verspilde moeite en klanten veel vervelende, irrelevante marketing zou kunnen besparen. . Maar dat mist het feit dat enorme gegevens niet alleen worden gebruikt om te kiezen welke vouchers ze shoppers aanbieden, of welke flyer ze naar een bepaalde kiezer sturen.
Het publiek, zo beweert O'Neil, begrijpt 'niet helemaal hoe schadelijk [algoritmen] kunnen zijn, vaak omdat we doorgaans niet onderhevig zijn aan de ergste van alle algoritmen: de algoritmen die mensen ervan weerhouden een baan te hebben omdat ze dat niet doen slagen voor de persoonlijkheidstest, degenen die criminele beklaagden langer in de gevangenis veroordelen als ze een hoog recidiveringsgevaar worden genoemd, of zelfs degenen die willekeurige straffen zijn voor onderwijzers. "
Dit sorteerproces is niet altijd een win-win voor de gestrooid en de sorteerder. Het kan vijandig zijn, het bedrijf of de instelling ten goede komen en de geprofileerde persoon schaden. Veel mannen en vrouwen, suggereert O'Neil, verdoezelen deze realiteit.
Vooringenomenheid verhullen
En erger nog, quants en bedrijven hebben vaak een voorkeur voor de berekeningen die we gebruiken om mensen te vormen in deze vijandige situaties en situaties met grote inzet. De factoren die worden gebruikt om de 'winnaars' en de 'kampioenen' van elkaar te scheiden (of wat voor vormlabel u ook wilt gebruiken), kunnen bestaan uit kenmerken zoals geslacht en ras waarvan mensen weten dat ze zeer vatbaar zijn voor vooringenomenheid - zo zeer kwetsbaar in werkelijkheid , waarvoor u wettelijk verboden bent om ze te gebruiken om veel van de meest consequente beslissingen te nemen.
Je kunt niet zeggen dat je een huishouden geen lening hebt gegeven omdat ze zwart waren zonder een rechtszaak aan te spannen. Maar veel algoritmen, zelfs die die worden gebruikt door peer-reviewed kredietmarkten, trekken conclusies die gedeeltelijk gebaseerd zijn op de hele tijd ras. We nemen ze zoals ze zijn gekleed in een laagje wiskunde.
Met haar kritiek, zegt O'Neil, wil ze een dialoog beginnen over 'wat het betekent dat een algoritme racistisch is'.
Big data '', besluit ze, heeft een enorm potentieel. Als ze zorgvuldig worden gebruikt, kunnen algoritmen in feite individuele vooroordelen uit de conclusie halen. Maar u moet zich bewust zijn van de moeilijkheid om ervoor te corrigeren. En veel mensen, bijvoorbeeld veel quants, zijn dat niet.