Miksi sinun on varottava suuria tietoja: Algoritmi voi olla täysin rasistinen

Miksi sinun on varottava suuria tietoja: Algoritmi voi olla täysin rasistinen

Joten väittää, että Harvardin kouluttama matemaatikko muutti hedge-rahaston määrää.

Merkittävä data on ollut yrityksen muotisana jo vuosikymmenien ajan yhdessä yrittäjien ja tiedotusvälineiden kanssa pureskelematta loputtomasti lupauksia ja vaaroja suurten tietomäärien keräämisestä.

Harvat pystyvät paljon paremmin kamppailemaan tämän tyyppisten kyselyjen kanssa kuin Cathy O'Neil. Hän on Harvardin kouluttama matemaatikko, joka matkusti työskennellä hedge-rahaston määränä valmistuttuaan tohtoriksi. Hän kirjoitti äskettäin omasta kokemuksestaan kirjan "Weapons of Math Destruction: How Big Data lisää epätasa-arvoa ja uhkaa demokratiaa".

Siinä hän herättää harvoin keskustellun huolen suurista tiedoista - se voi paitsi olla alttiita puolueellisuudellemme, mutta lisäksi se voi tosiasiallisesti laillistaa ja vahvistaa niitä. Algoritmi voi hänen mukaansa olla täysin rasistinen.

Big Data, suuria väärinkäsityksiä

Harvard Gazette -lehden kiehtovassa haastattelussa '' O'Neil selittää, kuinka hänen kokemuksensa rahaston toiminnasta taloudellisen romahduksen aikana avasi hänen silmänsä siihen, että aiemmin neutraalina ja epäpoliittisena pidetty tieto voisi olla " aseistettu. " Matematiikan voi pakottaa valehtelemaan, hän kuuli.

Mutta ongelma menee syvemmälle kuin pelkästään pahan uskonnon toimijat manipuloimalla tietoisesti laskutoimituksia löytääkseen haluamansa tulokset (kuten korkeammat luokitukset kuin asuntolainan takaamille arvopapereille oli perusteltua). Suurempi ongelma on, että jopa vilpittömät yritykset ja niiden yritykset, jotka toimivat hyvässä uskossa, voivat saada aikaan syvän vahingon. O'Neil kuvaa:

"Huomattava tieto on olennaisesti tapa jakaa voittajat ja häviäjät. Huomattava data profiloi ihmiset. Sillä on kaikenlaisia neuvoja kuluttajien käyttäytymisestä, kaikesta, mikä on helposti saatavissa julkisista rekistereistä, äänestyksistä, väestötiedoista. Se profiloi ihmiset ja muodostaa ihmiset voittajiksi ja häviäjiä erilaisilla tavoilla. Oletko tällä hetkellä vakuuttava kuin äänestäjä vai etkö vakuuttuva äänestäjänä? Oletko todennäköisesti alttiina palkkapäiväennakolle tai oletko läpäisemätön tällä palkkapäivälainan mainonnalla? "

Okei hyvä, saatat sanoa, ettei kukaan tykkää siitä, että hänet nimitetään häviäjäksi, mutta keskustele koko prosessista vähemmän tulehduksellisella kielellä ja saatat nähdä, kuinka asiakkaiden lajittelu voisi säästää yritystä paljon hukkaan menevää vaivaa ja asiakkaita paljon ärsyttävää, merkityksetöntä markkinointia . Mutta siitä puuttuu se tosiasia, että valtavia tietoja ei käytetä vain valitsemaan mitä kuponkeja tarjotaan ostajille tai mitä esitteitä postitetaan tietylle äänestäjälle.

O'Neil väittää, että yleisö ei "ymmärrä usein, kuinka tuhoisia [algoritmit] voivat olla, usein siksi, että emme yleensä ole kaikkien algoritmien pahimpia: ne, jotka estävät ihmisiä saamasta työtä, koska he eivät läpäisee persoonallisuustestin, ne, jotka tuomitsevat rikoksentekijöitä pidempään vankilassa, jos heitä kutsutaan suureksi uusiutumisvaaraksi, tai jopa ne, jotka ovat satunnaisia rangaistuksia koulunopettajille. "

Tämä lajitteluprosessi ei ole aina hyötyä sirotellulle ja lajittelijalle. Se voi olla kontradiktorista, hyödyttää yritystä tai laitosta ja vahingoittaa profiloitua henkilöä. Monet miehet ja naiset, O'Neil ehdottaa, kiiltävät tätä todellisuutta.

Peittämällä ennakkoluuloja

Ja mikä vielä pahempaa, kvantit ja yritykset vääristävät usein laskelmia, joita käytämme muodostaaksemme ihmisiä näissä kontradiktorisissa ja suurissa panoksissa. "Voittajien" ja "mestareiden" (tai minkä tahansa lomakemerkin, jota haluat käyttää) erottamiseen käytetyt tekijät voivat koostua sukupuolen ja rodun kaltaisista ominaisuuksista, jotka ihmiset tietävät olevan erittäin alttiita puolueellisuudelle - niin erittäin haavoittuvia, todellisuudessa , jota sinulla on laillisesti kielletty käyttämästä niitä useiden kaikkein seuraavimpien päätösten tekemiseen.

Et voi sanoa, ettet antanut kotitaloudelle lainaa, koska he olivat mustia joutumatta oikeudenkäyntiin. Mutta monet algoritmit, myös vertaisarvioitujen luottomarkkinoiden käyttämät, tekevät johtopäätökset osittain koko ajan rodun perusteella. Otamme heidät, kun he ovat pukeutuneet matematiikan viiluun.

O'Neil sanoo kritiikkinsä avulla haluavansa aloittaa dialogin siitä, "mitä algoritmille tarkoittaa rasismi".

Suurilla tiedoilla '', hän toteaa, sillä on valtava potentiaali. Harkitusti käytettynä algoritmit voivat todella poistaa yksittäiset ennakkoluulot johtopäätöksistä. Mutta sinun on oltava tietoinen vaikeuksista korjata se. Ja monet ihmiset, esimerkiksi monet quants, eivät.