ビッグデータに注意する必要がある理由:アルゴリズムは完全に人種差別的である可能性があります

ビッグデータに注意する必要がある理由:アルゴリズムは完全に人種差別的である可能性があります

したがって、ハーバードで訓練を受けた数学者がヘッジファンドのクオンツに転向したと主張します。

実質的なデータは、起業家やメディアとともに、大量のデータを蓄積するという約束と危険を際限なくかみ砕いて、何十年にもわたって企業の流行語になっています。

キャシー・オニールほど、これらのタイプのクエリに取り組むのに適した立場にある人はほとんどいません。彼女はハーバード大学で訓練を受けた数学者であり、博士号を取得した後、ヘッジファンドのクオンツとして働くために旅行しました。彼女は最近、自分の経験について、「数学破壊の武器:ビッグデータが不平等を拡大し、民主主義を脅かす方法」という本を書きました。

その中で、彼女は大きな情報についてめったに議論されない心配を提起します-それは私たちの偏見の影響を受ける可能性があるだけでなく、さらに、それは実際にそれらを正当化し増幅するかもしれません。彼女は、アルゴリズムは完全に人種差別的である可能性があると主張しています。

ビッグデータ、大きな誤解

ハーバードガゼットとの魅力的なインタビューで、 ''オニールは、金融危機の際にファンドで活動した経験が、以前は中立的で非政治的であると考えていた情報が「兵器化された。」彼女が聞いた数学は、うそをつくことを余儀なくされる可能性があります。

しかし、問題は、単に悪い宗教関係者が意図的に計算を操作して、必要な結果を見つけることよりも深刻です(住宅ローン担保証券に保証されているよりも高い格付けなど)。より大きな問題は、誠意を持って行動するクオンツとその会社でさえ、深刻な害を及ぼす可能性があるということです。オニールは次のように説明しています。

「実質的なデータは本質的に勝者と敗者を分ける方法です。実質的なデータは人々をプロファイルします。消費者行動、公的記録、投票、人口統計ですぐに利用できるすべてのものについてのあらゆる種類のアドバイスがあります。それは人々をプロファイルし、人々を勝者に形成しますあなたは現在、有権者のように説得力がありますか、それとも有権者として説得力がありませんか?給料日の事前広告にさらされる可能性がありますか、それとも現在この給料日のローン広告に影響されませんか?」

大丈夫、あなたは言うかもしれませんが、誰も敗者とラベル付けされるのが好きではありませんが、炎症の少ない言葉でプロセス全体についてチャットし、クライアントを並べ替えることで会社に多くの無駄な労力を節約し、クライアントに多くの迷惑で無関係なマーケティングをどのように節約できるかを見ることができます。しかし、それは、買い物客に提供するバウチャーや特定の有権者に郵送するチラシを選択するために膨大なデータが使用されるだけではないという事実を見逃しています。

オニールは、一般大衆は「[アルゴリズム]がどれほど有害であるかを完全に理解していない。それは、私たちが通常、すべてのアルゴリズムの中で最悪のアルゴリズムの対象とならないためである。性格検査、再犯の危険性が高いとされた場合に刑事被告に懲役刑を長く宣告する者、あるいは学校教師に対するランダムな罰でさえある者に合格する。」

このソートプロセスは、散水とソーターにとって常に双方にメリットがあるとは限りません。それは敵対的であり、企業や機関に利益をもたらし、プロファイリングされた人に害を及ぼす可能性があります。多くの男性と女性は、オニールが示唆しているように、この現実を覆い隠しています。

偽装バイアス

さらに悪いことに、クオンツや企業は、これらの敵対的で大規模なステークスの状況で人々を形成するために使用する計算にバイアスをかけることがよくあります。 「勝者」と「チャンピオン」(または利用したいフォームラベル)を区別するために使用される要素は、性別や人種など、バイアスの影響を非常に受けやすいことがわかっている特性で構成されている可能性があります。実際には、非常に脆弱です。 、最も重要な決定の多くを作成するためにそれらを使用することは法的に禁止されています。

訴訟に直面せずに黒人だったため、家計に融資をしなかったとは言えません。しかし、多くのアルゴリズムは、ピアレビューされた貸付市場で採用されているものでさえ、常に人種に部分的に基づいて結論を出します。彼らは数学のベニアに身を包んでいるので、私たちはそれらを取ります。

オニール氏は、彼女の批評とともに、「アルゴリズムが人種差別主義者であるとはどういうことか」についての対話を始めたいと考えています。

ビッグデータ」と彼女は結論付け、大きな可能性を秘めています。慎重に使用すると、アルゴリズムは実際に結論から個々の偏見を取り除くことができます。しかし、あなたはそれを修正することの難しさを認識しなければなりません。そして、多くの人々、例えば、多くのクォンツはそうではありません。