आपको बड़े डेटा से सावधान रहने की आवश्यकता क्यों है: एक एल्गोरिदम पूरी तरह से जातिवादी हो सकता है

तो एक हार्वर्ड-प्रशिक्षित गणितज्ञ ने हेज फंड मात्रा का दावा किया।

पर्याप्त डेटा अब दशकों से कंपनी का मूलमंत्र रहा है, साथ में उद्यमियों और मीडिया ने बड़ी मात्रा में डेटा एकत्र करने के वादे और खतरों को अंतहीन रूप से चबाया है।

कैथी ओ'नील की तुलना में इस प्रकार के प्रश्नों के साथ कुश्ती करने के लिए कुछ बेहतर स्थिति में हैं। वह एक हार्वर्ड-प्रशिक्षित गणितज्ञ हैं, जिन्होंने पीएचडी की पढ़ाई पूरी करने के बाद हेज फंड क्वांट के रूप में काम करने के लिए यात्रा की। उन्होंने हाल ही में अपने स्वयं के अनुभव के बारे में एक किताब लिखी, वेपन्स ऑफ मैथ डिस्ट्रक्शन: हाउ बिग डेटा इंसाइज इनइक्वलिटी एंड थ्रेटेंस डेमोक्रेसी।

इसमें, वह बड़ी जानकारी के बारे में शायद ही कभी चर्चा की गई चिंता उठाती है - न केवल यह हमारे पूर्वाग्रहों के अधीन हो सकती है, बल्कि इसके अतिरिक्त, यह वास्तव में उन्हें वैध और बढ़ा सकती है। एक एल्गोरिथ्म, वह तर्क देती है, पूरी तरह से नस्लवादी हो सकती है।

बड़ा डेटा, बड़ी भ्रांतियां

हार्वर्ड गजट के साथ एक आकर्षक साक्षात्कार में, '' ओ'नील बताते हैं कि कैसे वित्तीय मंदी के दौरान फंड में काम करने के उनके अनुभव ने इस तथ्य के लिए उनकी आंखें खोल दीं कि जानकारी, जिसे वह पहले तटस्थ और गैर-राजनीतिक के रूप में देखती थी, हो सकती है " हथियारबंद।" गणित, उसने सुना, झूठ बोलने के लिए मजबूर किया जा सकता है।

लेकिन समस्या केवल बुरे धर्म अभिनेताओं की तुलना में अधिक गहरी हो जाती है, जो जानबूझकर गणना में हेरफेर करते हैं ताकि वे परिणाम ढूंढ सकें (जैसे कि बंधक-समर्थित प्रतिभूतियों के लिए उच्च रेटिंग की तुलना में)। इससे भी बड़ी समस्या यह है कि क्वांट और उनकी कंपनियां भी, जो नेकनीयती से काम करती हैं, गहरा नुकसान कर सकती हैं। ओ'नील का वर्णन है:

"पर्याप्त डेटा अनिवार्य रूप से विजेताओं और हारने वालों को विभाजित करने का एक तरीका है। पर्याप्त डेटा लोगों को प्रोफाइल करता है। इसमें उपभोक्ता व्यवहार, सार्वजनिक रिकॉर्ड, वोट, जनसांख्यिकी में आसानी से उपलब्ध सब कुछ के बारे में सभी प्रकार की सलाह है। यह लोगों को प्रोफाइल करता है और यह लोगों को विजेताओं में बनाता है और विभिन्न तरीकों से हारे। क्या आप वर्तमान में एक मतदाता की तरह राजी हैं या आप एक मतदाता के रूप में राजी नहीं हैं? क्या आप अपने वेतन-दिवस अग्रिम विज्ञापन के संपर्क में आने की संभावना रखते हैं या आप वर्तमान में इस वेतन-दिवस ऋण विज्ञापन के लिए अभेद्य हैं?

ठीक है, आप कह सकते हैं, किसी को भी हारे हुए का लेबल पसंद नहीं है, लेकिन कम भड़काऊ भाषा के साथ पूरी प्रक्रिया के बारे में बात करें और आप देख सकते हैं कि कैसे सॉर्टिंग क्लाइंट कंपनी को बहुत सारे व्यर्थ प्रयास और ग्राहकों को बहुत परेशान, अप्रासंगिक मार्केटिंग से बचा सकता है। . लेकिन यह इस तथ्य को याद करता है कि विशाल डेटा का उपयोग केवल यह चुनने के लिए नहीं किया जाता है कि कौन से वाउचर दुकानदारों को प्रदान करें, या किसी विशेष मतदाता को कौन सा फ्लायर मेल करें।

जनता, ओ'नील का दावा है, "काफी हद तक समझ में नहीं आता है कि [एल्गोरिदम] कितने हानिकारक हो सकते हैं, ऐसा इसलिए है क्योंकि हम आम तौर पर सभी एल्गोरिदम के सबसे बुरे के अधीन नहीं होते हैं: वे जो लोगों को नौकरी रखने से रोकते हैं क्योंकि वे नहीं करते हैं व्यक्तित्व परीक्षण पास करें, जो आपराधिक प्रतिवादियों को लंबे समय तक जेल में सजाते हैं यदि उन्हें एक उच्च पुनरावृत्ति खतरा कहा जाता है, या यहां तक कि वे जो स्कूली शिक्षकों के लिए यादृच्छिक दंड हैं।"

छँटाई और छँटाई के लिए यह छँटाई प्रक्रिया हमेशा एक जीत नहीं होती है। यह प्रतिकूल हो सकता है, व्यवसाय या संस्था को लाभ पहुंचा सकता है और व्यक्ति को नुकसान पहुंचा सकता है। कई पुरुष और महिलाएं, ओ'नील सुझाव देते हैं, इस वास्तविकता पर प्रकाश डालें।

छद्म पूर्वाग्रह

और इससे भी बुरी बात यह है कि मात्रात्मक और कंपनियां अक्सर इन प्रतिकूल और बड़े दांव स्थितियों में लोगों को बनाने के लिए उपयोग की जाने वाली गणनाओं के प्रति पूर्वाग्रह से ग्रसित होती हैं। 'विजेताओं' और 'चैंपियंस' को अलग करने के लिए उपयोग किए जाने वाले कारक (या आप जिस भी फॉर्म लेबल का उपयोग करना चाहते हैं) में लिंग और जाति जैसी विशेषताएं शामिल हो सकती हैं जिन्हें लोग जानते हैं कि पूर्वाग्रह के लिए अतिसंवेदनशील हैं - वास्तव में अत्यधिक कमजोर, वास्तव में , जिन्हें आप कानूनी रूप से सबसे अधिक परिणामी निर्णय लेने के लिए उपयोग करने से प्रतिबंधित कर देते हैं।

आप यह नहीं कह सकते कि आपने एक परिवार को कर्ज नहीं दिया क्योंकि वे मुकदमे का सामना किए बिना काले थे। लेकिन कई एल्गोरिदम, यहां तक कि पीयर-रिव्यू लेंडिंग मार्केटप्लेस द्वारा नियोजित भी, हर समय दौड़ के आधार पर निष्कर्ष निकालते हैं। हम उन्हें वैसे ही लेते हैं जैसे वे गणित के लिबास में तैयार होते हैं।

अपनी आलोचनाओं के साथ, ओ'नील कहते हैं, वह "एल्गोरिदम के नस्लवादी होने का क्या अर्थ है" के बारे में एक संवाद शुरू करना चाहती है।

बिग डेटा , '' वह निष्कर्ष निकालती है, बहुत बड़ी क्षमता रखती है। सोच-समझकर उपयोग किए जाने वाले एल्गोरिदम वास्तव में निष्कर्ष से व्यक्तिगत पूर्वाग्रह को दूर कर सकते हैं। लेकिन आपको इसे ठीक करने में कठिनाई के बारे में पता होना चाहिए। और कई लोग, उदाहरण के लिए, कई मात्राएं नहीं हैं।