Так утверждает математик, получивший образование в Гарварде, превратившийся в эксперта по хедж-фонду.
Значительные данные были модным словом компании на протяжении десятилетий, вместе с предпринимателями и средствами массовой информации, которые бесконечно недооценивали перспективы и опасности накопления больших объемов данных.
Мало кто может лучше справиться с подобными вопросами, чем Кэти О'Нил. Она математик, получивший образование в Гарварде, после получения докторской степени поехала работать в качестве финансового агента хедж-фонда. Недавно она написала книгу «Оружие разрушения математики: как большие данные увеличивают неравенство и угрожают демократии» о своем собственном опыте.
В нем она поднимает редко обсуждаемое беспокойство по поводу большой информации - она не только может быть предметом наших предубеждений, но, кроме того, может фактически узаконить и усилить их. Она утверждает, что алгоритм может быть полностью расистским.
Большие данные, большие заблуждения
В увлекательном интервью Harvard Gazette «О'Нил объясняет, как ее опыт работы в фонде во время финансового кризиса открыл ей глаза на тот факт, что информация, которую она раньше считала нейтральной и аполитичной, могла быть». вооружен ". Она слышала, что математику можно заставить лгать.
Но проблема глубже, чем просто злонамеренные религиозные деятели, сознательно манипулирующие расчетами, чтобы получить желаемые результаты (например, более высокие рейтинги, чем требовалось для ценных бумаг с ипотечным покрытием). Более серьезная проблема заключается в том, что даже добросовестные кванты и их компании могут в конечном итоге нанести серьезный вред. О'Нил описывает:
«Существенные данные - это, по сути, способ разделить победителей и проигравших. Существенные данные представляют собой профили людей. В нем есть всевозможные советы о - поведении потребителей, все, что доступно в публичных отчетах, голосовании, демографии. Они профилируют людей и формируют из них победителей. и проигравшие в самых разных манерах. Вы в настоящее время убедительны, как избиратель, или вас не убедить как избирателя? Вы, вероятно, столкнетесь с вашей предварительной рекламой до зарплаты или вы в настоящее время невосприимчивы к этой рекламе ссуды до зарплаты? "
Хорошо, можно сказать, никто не любит, когда на него навешивают ярлык неудачника, но болтайте обо всем процессе менее подстрекательским языком, и вы увидите, как сортировка клиентов может сэкономить компании много потраченных впустую усилий, а клиентов - много надоедливого, нерелевантного маркетинга. . Но при этом упускается из виду тот факт, что огромные данные используются не только для того, чтобы выбрать, какие ваучеры предлагать покупателям или какой флаер отправить по почте конкретному избирателю.
Общественность, утверждает О'Нил, «не совсем понимает, насколько вредными могут быть [алгоритмы], часто потому, что мы обычно не подчиняемся худшему из всех алгоритмов: тем, которые мешают людям иметь работу, поскольку они не пройти личностный тест, те, кто приговаривает обвиняемых по уголовным делам к более длительному тюремному заключению, если их называют высокой опасностью рецидива, или даже те, которые являются случайным наказанием для школьных учителей »
Этот процесс сортировки не всегда беспроигрышен для разбрызгиваемых и сортировщиков. Он может быть враждебным, приносить пользу бизнесу или учреждению и причинять вред лицу, о котором идет речь. О'Нил предполагает, что многие мужчины и женщины игнорируют эту реальность.
Маскировка предвзятости
И что еще хуже, кванты и компании часто вносят предвзятость в расчеты, которые мы используем для формирования людей в этих состязательных ситуациях и ситуациях с большими ставками. Факторы, используемые для разделения `` победителей '' и `` чемпионов '' (или любой другой ярлык, который вы хотите использовать), могут состоять из таких характеристик, как пол и раса, которые, как известно людям, очень подвержены предвзятости - настолько уязвимы, в действительности , которые вам по закону запрещено использовать для принятия многих наиболее важных решений.
Вы не можете сказать, что не давали ссуду домашнему хозяйству, потому что они были черными, без предъявления иска. Но многие алгоритмы, даже те, которые используются рецензируемыми рынками кредитования, делают выводы, отчасти, на постоянной основе. Мы принимаем их такими, какими они облачены в лоскутное одеяние математики.
О'Нил говорит, что своей критикой она хочет начать диалог о том, «что значит для алгоритма быть расистским».
Большие данные , - заключает она, - обладают огромным потенциалом. При осмотрительном использовании алгоритмы могут фактически исключить из вывода индивидуальные предубеждения. Но вы должны осознавать, насколько трудно это исправить. А многие люди, например, многие кванты - нет.