그래서 하버드에서 훈련받은 수학자가 헤지 펀드로 변했다고 주장합니다.
많은 양의 데이터를 축적 할 때의 약속과 위험을 끊임없이 씹는 기업가 및 미디어와 함께 상당한 데이터가 수십 년 동안 회사의 유행어였습니다.
이러한 유형의 쿼리에 대해 Cathy O'Neil보다 훨씬 더 나은 위치에있는 사람은 거의 없습니다. 그녀는 박사 학위를 마친 후 헤지 펀드 양자로 일하기 위해 여행을 떠난 하버드에서 교육받은 수학자입니다. 그녀는 최근 자신의 경험에 대해 '수학 파괴 무기 : 빅 데이터가 불평등을 증가시키고 민주주의를 위협하는 방법'이라는 책을 썼습니다.
그 안에서 그녀는 큰 정보에 대해 거의 논의되지 않는 우려를 제기합니다. 이는 우리의 편견의 영향을받을 수있을뿐만 아니라 실제로 합법화하고 증폭시킬 수 있습니다. 그녀는 알고리즘이 완전히 인종 차별적 일 수 있다고 주장합니다.
빅 데이터, 큰 오해
Harvard Gazette와의 매력적인 인터뷰에서 ''O'Neil은 금융 붕괴 기간 동안 펀드 운영 경험이 이전에 중립적이고 비 정치적이라고 생각했던 정보가 될 수 있다는 사실에 눈을 뜨게했는지 설명합니다. 무기화. " 그녀는 수학이 거짓말을 할 수 있다고 들었습니다.
그러나 문제는 단순히 나쁜 종교 행위자가 원하는 결과를 찾기 위해 고의로 계산을 조작하는 것보다 더 깊습니다 (예 : 모기지 담보 증권에 대해 보증 된 것보다 높은 등급). 더 큰 문제는 선의로 행동하는 퀀트와 그들의 회사조차도 심각한 해를 끼칠 수 있다는 것입니다. O'Neil은 다음과 같이 설명합니다.
"실질적인 데이터는 본질적으로 승자와 패자를 나누는 방법입니다. 실질적인 데이터는 사람들을 프로파일 링합니다. 여기에는 소비자 행동, 공공 기록, 투표, 인구 통계에서 쉽게 사용할 수있는 모든 것에 대한 모든 종류의 조언이 있습니다. 사람들을 프로파일 링하고 사람들을 승자로 만듭니다. 당신은 현재 유권자처럼 설득 할 수 있습니까? 아니면 유권자로서 설득 할 수 없습니까? 당신은 당신의 급여일 선불 광고에 노출 될 가능성이 있습니까, 아니면 현재이 급여일 대출 광고에 영향을받지 않습니까? "
좋아요, 누구도 패배자로 분류되는 것을 좋아하는 사람은 없습니다.하지만 전체 프로세스에 대해 덜 자극적 인 언어로 이야기하면 분류 클라이언트가 회사에 많은 노력을 낭비하고 클라이언트를 성 가시고 무관 한 마케팅에서 어떻게 절약 할 수 있는지 알 수 있습니다. . 그러나 이는 방대한 데이터가 쇼핑객에게 제공 할 바우처 나 특정 유권자에게 발송할 전단지를 선택하는 데만 사용되는 것이 아니라는 사실을 놓칩니다.
O'Neil은 대중은 "[알고리즘]이 얼마나 위험한지를 자주 이해하지 못합니다. 그 이유는 우리가 일반적으로 모든 알고리즘 중 최악의 알고리즘을 따르지 않기 때문입니다. 성격 테스트를 통과하고, 범죄 피고인이 높은 재범 위험으로 간주 될 경우 더 오래 징역형을 선고하거나 심지어 학교 교사에게 무작위로 처벌하는 사람들도 통과합니다. "
이 분류 과정은 뿌려진 사람과 분류하는 사람에게 항상 윈윈이 아닙니다. 적대적 일 수 있으며 비즈니스 또는 기관에 이익이되고 프로파일 링 된 사람에게 해를 끼칠 수 있습니다. O'Neil은 많은 남성과 여성이이 현실을 비추고 있다고 제안합니다.
위장 편향
게다가 퀀트와 기업은 종종 이러한 적대적이고 큰 이해 관계 상황에서 사람들을 형성하는 데 사용하는 계산에 편향을 적용합니다. '승자'와 '챔피언'(또는 활용하고자하는 어떤 형태의 라벨)을 구분하는 데 사용되는 요소는 사람들이 편견에 매우 취약하다는 것을 알고있는 성별 및 인종과 같은 특성으로 구성 될 수 있습니다. 실제로 매우 취약합니다. , 가장 중요한 결정을 내리는 데 사용하는 것이 법적으로 금지되어 있습니다.
소송을 당하지 않고 흑인이어서 가계를 대출하지 않았다고 말할 수 없습니다. 그러나 동료 검토를 거친 대출 시장에서 사용하는 알고리즘조차도 부분적으로는 항상 인종을 기반으로 결론을 내립니다. 우리는 그것들을 수학의 베니어로 차려 입고 있습니다.
그녀의 비판을 통해 그녀는 "알고리즘이 인종 차별적이라는 것이 무엇을 의미하는지"에 대한 대화를 시작하고 싶다고 O'Neil은 말합니다.
빅 데이터 는 엄청난 잠재력을 가지고 있다고 그녀는 결론지었습니다. 신중하게 사용하면 알고리즘은 실제로 결론에서 개인적인 편견을 제거 할 수 있습니다. 그러나 당신은 그것을 고치는 것이 어렵다는 것을 알고 있어야합니다. 예를 들어 많은 사람들은 그렇지 않습니다.