لماذا تحتاج إلى الحذر من البيانات الضخمة: يمكن أن تكون الخوارزمية عنصرية بالكامل

هكذا يؤكد عالم رياضيات متدرب في جامعة هارفارد تحول إلى صندوق تحوط.

كانت البيانات الجوهرية كلمة طنانة للشركة لعقود حتى الآن ، جنبًا إلى جنب مع رواد الأعمال ووسائل الإعلام الذين يمضغون بلا نهاية على الوعود والمخاطر المتعلقة بتكديس كميات كبيرة من البيانات.

قلة هم الذين هم في وضع أفضل بكثير للتعامل مع هذه الأنواع من الاستفسارات من كاثي أونيل. إنها عالمة رياضيات متدربة في جامعة هارفارد ، سافرت للعمل في صندوق تحوط بعد إنهاء الدكتوراه. كتبت مؤخرًا كتابًا بعنوان أسلحة تدمير الرياضيات: كيف تزيد البيانات الضخمة من عدم المساواة وتهدد الديمقراطية ، عن تجربتها الخاصة.

في ذلك ، تثير قلقًا نادرًا ما تتم مناقشته بشأن المعلومات الكبيرة - ليس فقط يمكن أن تخضع لتحيزاتنا ، ولكن بالإضافة إلى ذلك ، قد تضفي الشرعية عليها وتضخيمها. وتقول إن الخوارزمية يمكن أن تكون عنصرية تمامًا.

بيانات ضخمة ، مفاهيم خاطئة كبيرة

في مقابلة رائعة مع Harvard Gazette ، "تشرح أونيل كيف فتحت تجربتها في العمل في الصندوق أثناء الانهيار المالي عينيها على حقيقة أن المعلومات ، التي كانت تعتبرها سابقًا محايدة وغير سياسية ، يمكن أن تكون" مسلح ". سمعت أن الرياضيات يمكن إجبارها على الكذب.

لكن المشكلة أعمق من مجرد تلاعب الفاعلين السيئين بالحسابات عن عمد للعثور على النتائج التي يريدونها (مثل التصنيفات الأعلى مما هو مبرر للأوراق المالية المدعومة بالرهن العقاري). المشكلة الأكبر هي أنه حتى الكميات وشركاتهم الذين يتصرفون بحسن نية قد ينتهي بهم الأمر بإحداث ضرر عميق. يصف أونيل:

"البيانات الجوهرية هي في الأساس طريقة لتقسيم الرابحين والخاسرين. ملفات تعريف البيانات الجوهرية للأشخاص. وهي تحتوي على جميع أنواع النصائح حول - سلوك المستهلك ، وكل شيء متاح بسهولة في السجلات العامة ، والأصوات ، والديموغرافيا. فهي توصيف الأشخاص وتشكل الأشخاص إلى فائزين وخاسرون من خلال مجموعة متنوعة من الأخلاق. هل يمكنك إقناعك حاليًا مثل الناخبين أم أنك غير مقنع كناخب؟ هل من المحتمل أن تتعرض لإعلان يوم الدفع المسبق الخاص بك أو أنك غير قادر حاليًا على إعلان قرض يوم الدفع هذا؟ "

حسنًا ، قد تقول ، لا أحد يحب أن يوصف بأنه خاسر ، ولكن تحدث عن العملية برمتها بلغة أقل إلحاحًا وقد ترى كيف يمكن لفرز العملاء أن يجنب الشركة الكثير من الجهد الضائع والعملاء الكثير من التسويق المزعج وغير ذي الصلة . لكن هذا يغفل حقيقة أن البيانات الهائلة لا تُستخدم فقط لاختيار القسائم التي يتم تقديمها للمتسوقين ، أو أي نشرة ترسل بالبريد إلى ناخب معين.

يؤكد أونيل أن الجمهور لا "يفهم تمامًا كيف يمكن أن تكون [الخوارزميات] ضارة ، في كثير من الأحيان ، وذلك لأننا لا نخضع عادةً لأسوأ الخوارزميات: تلك التي تمنع الأشخاص من الحصول على وظائف لأنهم لا يفعلون ذلك اجتياز اختبار الشخصية ، وأولئك الذين يحكمون على المتهمين الجنائيين بالسجن لفترة أطول إذا وصفوا بأنهم معرضون لخطر العودة إلى الإجرام ، أو حتى تلك التي تشكل عقوبات عشوائية لمعلمي المدارس ".

عملية الفرز هذه ليست دائما مربحة للجانبين المرشوشة والفارز. يمكن أن يكون عدائيًا ، ويفيد الشركة أو المؤسسة ويضر بالشخص المذكور. يقترح أونيل أن العديد من الرجال والنساء يتسترون على هذه الحقيقة.

التحيز المقنع

والأسوأ من ذلك ، فإن الكميات والشركات غالبًا ما تنحاز إلى الحسابات التي نستخدمها لتكوين الأشخاص في مواقف الخصومة والمخاطر الكبيرة هذه. قد تتكون العوامل المستخدمة للفصل بين "الفائزين" و "الأبطال" (أو أي شكل من أشكال التسمية التي ترغب في استخدامها) ، من خصائص مثل الجنس والعرق التي يعرف الناس أنها معرضة بدرجة كبيرة للتحيز - وهي ضعيفة للغاية ، في الواقع ، والتي يُحظر عليك قانونًا استخدامها لإنشاء العديد من القرارات الأكثر أهمية.

لا يمكنك القول إنك لم تقدم قرضًا لأسرة لأنهم كانوا من السود دون مواجهة دعوى قضائية. لكن العديد من الخوارزميات ، حتى تلك التي تستخدمها أسواق الإقراض التي راجعها الأقران ، توصل إلى استنتاجات تستند جزئيًا إلى العرق طوال الوقت. نأخذهم وهم يرتدون قشرة الرياضيات.

تقول أونيل إنها تود من خلال انتقاداتها أن تبدأ حوارًا حول "ما يعنيه أن تكون الخوارزمية عنصرية".

البيانات الكبيرة ، '' انها يخلص، يحمل إمكانات هائلة. إذا تم استخدامها بعناية ، يمكن للخوارزميات في الواقع تجريد التحيز الفردي من الاستنتاج. لكن عليك أن تدرك صعوبة تصحيح ذلك. وكثير من الناس ، على سبيل المثال ، العديد من الكميين ، ليسوا كذلك.