Così afferma un matematico addestrato ad Harvard che ha trasformato il quant di hedge fund.
Dati sostanziali sono ormai da decenni una parola d'ordine per l'azienda, insieme a imprenditori e media che masticano incessantemente la promessa e i pericoli di accumulare grandi quantità di dati.
Poche sono in una posizione migliore per affrontare questo tipo di domande di Cathy O'Neil. È una matematica di Harvard che ha viaggiato per lavorare come hedge fund dopo aver terminato il suo dottorato di ricerca. Recentemente ha scritto un libro, Weapons of Math Destruction: How Big Data Aumenta la disuguaglianza e minaccia la democrazia, sulla propria esperienza.
In esso, solleva una preoccupazione raramente discussa su informazioni di grandi dimensioni - non solo può essere soggetta ai nostri pregiudizi, ma in aggiunta, può effettivamente legittimarli e amplificarli. Un algoritmo, sostiene, può essere completamente razzista.
Big Data, grandi idee sbagliate
In un'affascinante intervista con la Harvard Gazette, "O'Neil spiega come la sua esperienza di operare nel fondo durante il crollo finanziario le abbia aperto gli occhi sul fatto che le informazioni, che in precedenza aveva visto come neutre e apolitiche, potevano essere" armato. " La matematica, ha sentito, può essere costretta a mentire.
Ma il problema va più in profondità dei semplici attori della cattiva religione che manipolano consapevolmente i calcoli per trovare i risultati desiderati (come i rating più alti di quelli garantiti per i titoli garantiti da ipoteca). Il problema più grande è che anche i quant e le loro società che agiscono in buona fede possono finire per recare gravi danni. O'Neil descrive:
"I dati sostanziali sono essenzialmente un modo per dividere i vincitori e i vinti. I dati sostanziali delineano le persone. Ha tutti i tipi di consigli sul comportamento dei consumatori, tutto ciò che è prontamente disponibile nei registri pubblici, nei voti, nella demografia. Profila le persone e trasforma le persone in vincitori e perdenti in una varietà di modi. Sei attualmente persuadibile come un elettore o non sei persuadibile come elettore? È probabile che tu sia esposto alla tua pubblicità di anticipo sullo stipendio o sei attualmente impermeabile a questa pubblicità di prestito con anticipo sullo stipendio? "
OK bene, potresti dire, a nessuno piace essere etichettato come perdente, ma parla dell'intero processo con un linguaggio meno provocatorio e potresti vedere come l'ordinamento dei clienti potrebbe risparmiare all'azienda un sacco di sforzi sprecati e ai clienti un sacco di marketing fastidioso e irrilevante . Ma questo non tiene conto del fatto che enormi dati non vengono utilizzati solo per scegliere quali voucher offrire agli acquirenti o quale volantino inviare per posta a un determinato elettore.
Il pubblico, afferma O'Neil, non "capisce bene quanto [gli algoritmi] possano essere perniciosi, frequentemente, perché non siamo tipicamente soggetti al peggiore di tutti gli algoritmi: quelli che impediscono alle persone di avere un lavoro poiché non lo fanno superare il test della personalità, quelli che condannano più a lungo gli imputati criminali in carcere se sono definiti ad alto pericolo di recidiva, o anche quelli che sono punizioni casuali per gli insegnanti ".
Questo processo di smistamento non è sempre vantaggioso per gli spruzzati e per il selezionatore. Può essere contraddittorio, avvantaggiare l'azienda o l'istituzione e danneggiare la persona profilata. Molti uomini e donne, suggerisce O'Neil, ignorano questa realtà.
Pregiudizi mascherati
E peggio ancora, i quants e le aziende spesso influenzano i calcoli che usiamo per formare le persone in queste situazioni contraddittorie e di grande posta. I fattori utilizzati per separare i "vincitori" e i "campioni" (o qualsiasi altra forma di etichetta che desideri utilizzare), possono consistere in caratteristiche come il sesso e la razza che le persone sanno essere altamente suscettibili ai pregiudizi, quindi altamente vulnerabili, in realtà , che ti è stato legalmente vietato di usarli per creare molte delle decisioni più importanti.
Non si può dire di non aver dato un prestito a una famiglia perché era nera senza affrontare una causa. Ma molti algoritmi, anche quelli impiegati dai mercati di prestito sottoposti a revisione paritaria, traggono conclusioni basate, in parte, sulla corsa per tutto il tempo. Li prendiamo come se fossero vestiti con una patina di matematica.
Con le sue critiche, dice O'Neil, desidera iniziare un dialogo su "cosa significa per un algoritmo essere razzista".
I big data '', conclude, hanno un enorme potenziale. Utilizzati in modo ponderato, gli algoritmi possono effettivamente eliminare i pregiudizi individuali dalla conclusione. Ma devi essere consapevole della difficoltà di correggerlo. E molte persone, per esempio, molti quanti, non lo sono.