Så hævder en Harvard-uddannet matematiker vendte hedge fund quant.
Væsentlige data har været et virksomheds slagord i årtier sammen med iværksættere og medier, der uendeligt tygger på løftet og farerne ved at samle store mængder data.
Få er meget bedre positioneret til at kæmpe med denne type forespørgsler end Cathy O'Neil. Hun er en Harvard-uddannet matematiker, der rejste på arbejde som en hedgefondkvant efter at have afsluttet sin ph.d. For nylig skrev hun en bog, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, om sin egen oplevelse.
I den rejser hun en sjældent diskuteret bekymring over stor info - ikke kun kan den være genstand for vores bias, men derudover kan den faktisk legitimere og forstærke dem. En algoritme, hævder hun, kan fuldstændig være racistisk.
Big Data, store misforståelser
I et fascinerende interview med Harvard Gazette forklarer O'Neil, hvordan hendes oplevelse af at operere i fonden under den økonomiske nedsmeltning åbnede øjnene for, at oplysninger, som hun tidligere havde set som neutrale og upolitiske, kunne være " bevæbnet. " Matematik, hørte hun, kan tvinges til at lyve.
Men problemet går dybere end simpelthen dårlige religionsaktører, der bevidst manipulerer beregninger for at finde de resultater, de ønsker (såsom højere ratings, end det var berettiget for sikkerhedsstillelse med pant i pant). Det større problem er, at selv kvanter og deres virksomheder, der handler i god tro, kan afslutte med at gøre dyb skade. O'Neil beskriver:
"Væsentlige data er i det væsentlige en måde at opdele vindere og tabere på. Væsentlige data profilerer mennesker. Det har alle mulige råd om - forbrugeradfærd, alt tilgængeligt i offentlige optegnelser, stemmer, demografi. Det profilerer mennesker, og det danner folk til vindere og tabere inden for en række forskellige manerer. Er du i øjeblikket overtalelig som en vælger, eller kan du ikke overtales som vælger? Bliver du sandsynligvis udsat for din forudgående annonce på lønningsdag, eller er du i øjeblikket uigennemtrængelig for denne lønningsreklame? "
OK godt, kan du sige, ingen kan lide at blive mærket som en taber, men snak om hele processen med mindre inflammatorisk sprog, og du kan se, hvordan sortering af klienter kan spare virksomheden for en masse spildt indsats og klienterne for en masse irriterende, irrelevant markedsføring . Men det går glip af det faktum, at enorme data ikke kun bruges til at vælge hvilke kuponer, der skal tilbydes kunder, eller hvilken flyer, der skal mailes til en bestemt vælger.
O'Neil hævder, at offentligheden ikke "helt forstår, hvordan skadelige [algoritmer] ofte kan være, det er fordi vi ikke typisk er underlagt den værste af alle algoritmer: dem, der forhindrer folk i at have job, da de ikke gør det bestå personlighedstesten, dem, der dømmer kriminelle tiltalte længere i fængsel, hvis de kaldes en høj tilbagevendende fare, eller endda dem, der er tilfældige straf for skolelærere. "
Denne sorteringsproces er ikke altid en win-win for den dryssede og sorteringen. Det kan være kontradiktorisk, til gavn for virksomheden eller institutionen og skade den person, der er profileret. O'Neil foreslår, at mange mænd og kvinder glans over denne virkelighed.
Skjult bias
Og endnu værre er, at quants og virksomheder ofte bias med de beregninger, vi bruger til at danne mennesker i disse kontradiktoriske og store indsatssituationer. De faktorer, der bruges til at adskille 'vinderne' og 'mestrene' (eller hvilken form, du vil bruge), kan bestå af egenskaber som køn og race, som folk ved, er meget modtagelige for bias - så meget sårbare i virkeligheden , som du lovligt har forbud mod at bruge dem til at skabe mange af de mest efterfølgende beslutninger.
Du kan ikke sige, at du ikke gav et husstand et lån, fordi de var sorte uden at blive udsat for en retssag. Men mange algoritmer, selv dem, der er ansat på peer-reviewed udlånsmarkeder, drager konklusioner, der delvist er baseret på race hele tiden. Vi tager dem, når de er klædt i en matematikfiner.
O'Neil siger med sine kritikker, at hun ønsker at indlede en dialog om "hvad det betyder for en algoritme at være racistisk."
Big data , '' konkluderer hun, rummer et enormt potentiale. Brugt omhyggeligt kan algoritmer faktisk fjerne individuelle fordomme fra konklusionen. Men du skal være opmærksom på vanskelighederne med at rette op på det. Og mange mennesker, for eksempel mange kvanter, er det ikke.