Felly mae'n honni bod mathemategydd a hyfforddwyd yn Harvard wedi troi maint cronfa gwrych.
Mae data sylweddol wedi bod yn wefr cwmni ers degawdau bellach, ynghyd ag entrepreneuriaid a'r cyfryngau yn cnoi yn ddiddiwedd ar addewid a pheryglon crynhoi llawer iawn o ddata.
Ychydig sydd mewn sefyllfa well o lawer i ymgodymu â'r mathau hyn o ymholiadau na Cathy O'Neil. Mae hi'n fathemategydd wedi'i hyfforddi yn Harvard a deithiodd i weithio fel swm cronfa gwrych ar ôl gorffen ei Ph.D. Yn ddiweddar, ysgrifennodd lyfr, Weapons of Math Destruction: How Big Data Growes Inequality and Threatens Democracy, am ei phrofiad ei hun.
Ynddi, mae'n codi pryder a drafodir yn anaml am wybodaeth fawr - nid yn unig y gall fod yn destun ein rhagfarnau, ond hefyd, gall mewn gwirionedd eu cyfreithloni a'u chwyddo. Mae hi'n dadlau y gall algorithm fod yn hollol hiliol.
Data Mawr, camsyniadau mawr
Mewn cyfweliad hynod ddiddorol gyda'r Harvard Gazette, '' mae O'Neil yn esbonio sut y gwnaeth ei phrofiad o weithredu yn y gronfa yn ystod y toddi ariannol agor ei llygaid i'r ffaith y gallai gwybodaeth, yr oedd hi o'r blaen wedi ei hystyried yn niwtral ac yn foesol, fod " arfog. " Fe allai Math, clywodd, gael ei orfodi i ddweud celwydd.
Ond mae'r broblem yn mynd yn ddyfnach nag actorion crefydd drwg yn unig yn trin cyfrifiadau yn fwriadol i ddod o hyd i'r canlyniadau maen nhw eu heisiau (fel graddfeydd uwch na'r hyn oedd yn ofynnol ar gyfer gwarantau gyda chefnogaeth morgeisi). Y broblem fwy yw y gall hyd yn oed quants a'u cwmnïau sy'n gweithredu'n ddidwyll ddirwyn i ben wneud niwed dwfn. Disgrifia O'Neil:
"Yn y bôn, mae data sylweddol yn ffordd o rannu enillwyr a chollwyr. Mae data sylweddol yn proffilio pobl. Mae ganddo bob math o gyngor am - ymddygiad defnyddwyr, popeth sydd ar gael yn rhwydd mewn cofnodion cyhoeddus, pleidleisiau, demograffeg. Mae'n proffilio pobl ac mae'n ffurfio pobl yn enillwyr a chollwyr o fewn amryw o foesau. A ydych chi'n perswadio ar hyn o bryd fel pleidleisiwr neu a ydych chi ddim yn berswadiol fel pleidleisiwr? A ydych chi'n debygol o fod yn agored i'ch hysbyseb ymlaen llaw diwrnod cyflog neu a ydych chi'n anhydraidd ar hyn o bryd i'r hysbyseb benthyciad diwrnod cyflog hwn? "
Iawn da, efallai y dywedwch, nid oes unrhyw un yn hoffi cael ei labelu'n gollwr, ond sgwrsiwch am yr holl broses gydag iaith llai llidiol ac efallai y gwelwch sut y gallai cleientiaid didoli sbario llawer o ymdrech wastraffus a chleientiaid lawer o farchnata annifyr, amherthnasol. . Ond mae hynny'n colli'r ffaith nad yw data enfawr yn cael ei ddefnyddio i ddewis pa dalebau i'w cynnig i siopwyr yn unig, neu pa daflen i'w phostio i bleidleisiwr penodol.
Nid yw'r cyhoedd, meddai O'Neil, yn "deall yn iawn pa mor niweidiol y gall [algorithmau] fod, yn aml, oherwydd nad ydym fel rheol yn ddarostyngedig i'r gwaethaf o'r holl algorithmau: y rhai sy'n cadw pobl rhag cael swyddi gan nad ydyn nhw'n gwneud hynny pasio'r prawf personoliaeth, y rhai sy'n dedfrydu diffynyddion troseddol am gyfnod hirach yn y carchar os ydyn nhw'n cael eu galw'n berygl atgwympo uchel, neu hyd yn oed y rhai sy'n gosbau ar hap i athrawon ysgol. "
Nid yw'r broses ddidoli hon bob amser yn fuddugoliaeth i'r taenellwr a'r didolwr. Gall fod yn wrthwynebus, o fudd i'r busnes neu'r sefydliad ac yn niweidio'r person sydd wedi'i broffilio. Mae llawer o ddynion a menywod, mae O'Neil yn awgrymu, yn rhoi sglein ar y realiti hwn.
Rhagfarn gudd
Ac yn waeth eto, mae quants a chwmnïau yn aml yn pobi gogwydd at y cyfrifiadau a ddefnyddiwn i ffurfio pobl yn y sefyllfaoedd gwrthwynebus a mawr hyn. Gall y ffactorau a ddefnyddir i wahanu'r 'enillwyr' a'r 'hyrwyddwyr' (neu ba bynnag label ffurf yr hoffech ei ddefnyddio), gynnwys nodweddion fel rhyw a hil y mae pobl yn gwybod sy'n agored iawn i ragfarn - mor agored i niwed, mewn gwirionedd , yr ydych wedi'ch gwahardd yn gyfreithiol rhag eu defnyddio i greu llawer o'r penderfyniadau mwyaf canlyniadol.
Ni allwch ddweud na wnaethoch roi benthyciad i aelwyd oherwydd eu bod yn ddu heb wynebu achos cyfreithiol. Ond mae llawer o algorithmau, hyd yn oed y rhai a gyflogir gan farchnadoedd benthyca a adolygir gan gymheiriaid, yn dod i gasgliadau yn seiliedig, yn rhannol, ar hil trwy'r amser. Rydyn ni'n mynd â nhw wrth iddyn nhw wisgo i fyny mewn argaen mathemateg.
Gyda'i beirniadaeth, meddai O'Neil, mae hi'n dymuno cychwyn deialog am "yr hyn y mae'n ei olygu i algorithm fod yn hiliol."
Mae gan ddata mawr , '' meddai, botensial enfawr. O'u defnyddio'n feddylgar, gall algorithmau dynnu rhagfarn unigol o'r casgliad mewn gwirionedd. Ond mae'n rhaid i chi fod yn ymwybodol o'r anhawster i gywiro amdano. Ac mae llawer o bobl, er enghraifft, llawer o feintiau, ddim.