Så hevder en matematiker fra Harvard som ble slått på hedgefond.
Vesentlige data har vært et moteord for selskapet i flere tiår, sammen med gründere og media som uendelig tygger på løftet og farene ved å samle store mengder data.
Få er mye bedre posisjonert til å bryte med denne typen spørsmål enn Cathy O'Neil. Hun er en Harvard-utdannet matematiker som reiste for å jobbe som en hedgefondkvant etter endt doktorgrad. Hun skrev nylig boken Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, om sin egen erfaring.
I den reiser hun en sjelden diskutert bekymring for stor info - ikke bare kan den være gjenstand for våre skjevheter, men i tillegg kan den faktisk legitimere og forsterke dem. En algoritme, hevder hun, kan helt være rasistisk.
Big Data, store misforståelser
I et fascinerende intervju med Harvard Gazette, forklarer O'Neil hvordan hennes erfaring med å operere i fondet under den økonomiske nedsmeltingen, åpnet øynene for at informasjonen, som hun tidligere hadde sett på som nøytral og upolitisk, kunne være " våpenvåpen. " Matematikk, hørte hun, kan bli tvunget til å lyve.
Men problemet går dypere enn bare dårlige religionsaktører som bevisst manipulerer beregninger for å finne resultatene de ønsker (for eksempel høyere rangeringer enn det som var garantert for pantelånesikrede verdipapirer). Det større problemet er at selv kvanter og deres selskaper som handler i god tro, kan ende opp med å gjøre dyp skade. O'Neil beskriver:
"Vesentlige data er egentlig en måte å dele vinnere og tapere på. Vesentlige data profilerer mennesker. Den har alle slags råd om forbrukeradferd, alt som er lett tilgjengelig i offentlige registre, stemmer, demografi. Det profilerer mennesker og det danner folk til vinnere. og tapere på en rekke måter. Er du for øyeblikket overtalelig som en velger, eller kan du ikke overtales som velger? Er du sannsynligvis utsatt for forhåndsannonsen din, eller er du for øyeblikket ugjennomtrengelig for denne lønningsannonsen? "
OK bra, kan du si, ingen liker å bli betegnet som en taper, men snakk om hele prosessen med mindre betennende språk, og du vil kanskje se hvordan sortering av klienter kan spare selskap for mye bortkastet innsats og kunder mye irriterende, irrelevant markedsføring . Men det savner det faktum at enorme data ikke bare brukes til å velge hvilke kuponger de skal tilby kunder, eller hvilken flygeblad som skal sendes til en bestemt velger.
Allmennheten, hevder O'Neil, forstår ikke "hvor skadelig [algoritmer] kan være, ofte, det er fordi vi vanligvis ikke er utsatt for de verste av alle algoritmer: de som hindrer folk i å ha jobber siden de ikke gjør det bestå personlighetstesten, de som dømmer kriminelle tiltalte lenger i fengsel hvis de blir betegnet som en høy tilbakevendelsesfare, eller til og med de som er tilfeldige straffer for skolelærere. "
Denne sorteringsprosessen er ikke alltid en vinn-vinn for drysset og sorteringen. Det kan være kontroversielt, til fordel for virksomheten eller institusjonen og skade personen som er profilert. O'Neil antyder at mange menn og kvinner glans over denne virkeligheten.
Skjult skjevhet
Og verre ennå, kvantiteter og selskaper baker ofte skjevheter i beregningene vi bruker for å danne mennesker i disse kontroversielle og store innsatssituasjonene. Faktorene som brukes til å skille 'vinnere' og 'mestere' (eller hvilken form du vil bruke), kan bestå av egenskaper som kjønn og rase som folk vet er svært utsatt for skjevhet - så veldig sårbar, i virkeligheten , som du lovlig har forbud mot å bruke dem til å lage mange av de mest avgjørende avgjørelsene.
Du kan ikke si at du ikke ga et husstand et lån fordi de var svarte uten å møte en søksmål. Men mange algoritmer, til og med de som er ansatt av fagfellevurderte utlånsmarkeder, trekker konklusjoner delvis basert på rase hele tiden. Vi tar dem når de er påkledd i en finér av matematikk.
Med sine kritikker, sier O'Neil, ønsker hun å starte en dialog om "hva det betyr for en algoritme å være rasistisk."
Big data , '' konkluderer hun, har enormt potensial. Brukt omtenksomt kan algoritmer faktisk fjerne individuelle fordommer fra konklusjonen. Men du må være klar over vanskeligheter med å korrigere for det. Og mange mennesker, for eksempel mange kvanter, er det ikke.