शोधकर्ता कंप्यूटर विजन डेटासेट में पूर्वाग्रह को कम करने के लिए एक दृष्टिकोण विकसित कर रहे हैं

कंप्यूटर विज़न पाठ्यक्रम के छात्रों के लिए विशेष रूप से लेख का अनुवाद तैयार किया गया था ।

14 फरवरी, 2020
प्रिंसटन यूनिवर्सिटी, इंजीनियरिंग विभाग।

---

:
, . ImageNet — 14 , .

ImageNet, जिसमें वस्तुओं, परिदृश्यों और विशेष रूप से लोगों की छवियां शामिल हैं, मशीन सीखने वाले एल्गोरिदम बनाने वाले शोधकर्ताओं के लिए प्रशिक्षण डेटा के स्रोत के रूप में कार्य करता है जो छवियों को वर्गीकृत करता है या उन पर व्यक्तिगत तत्वों को पहचानता है। ImageNet के अभूतपूर्व पैमाने पर क्राउडसोर्सिंग का उपयोग करके स्वचालित छवि संग्रह और एनोटेशन आवश्यक है। हालांकि डेटाबेस से लोगों की छवियों की श्रेणी का उपयोग अनुसंधान समुदाय द्वारा शायद ही कभी किया गया था, छविनेट टीम ने पूर्वाग्रह को खत्म करने के लिए काम किया और लोगों की छवियों से जुड़ी कई अन्य समस्याएं जो कि इमेजनेट डिजाइन के अनपेक्षित परिणाम हैं।

प्रिंसटन के कंप्यूटर विज्ञान के एसोसिएट प्रोफेसर, सह-लेखक ओल्गा रसकोवस्काया ने कहा, "आज, कंप्यूटर विज़न विभिन्न प्रकार के संदर्भों में हर जगह लागू होने के लिए पर्याप्त रूप से काम करता है।" "इसका मतलब है कि अब यह बात करने का समय है कि यह दुनिया को कैसे प्रभावित करता है और विश्वसनीयता के मुद्दों के बारे में क्या सोचता है।"

एक नए लेख में, इमेजनेट टीम ने गैर-दृश्य अवधारणाओं और आक्रामक श्रेणियों की पहचान की, जैसे कि नस्लीय और यौन विशेषताओं, इमेजनेट मानव छवि श्रेणियों के लिए और उन्हें डेटाबेस से हटाने का सुझाव दिया। शोधकर्ताओं ने एक उपकरण भी विकसित किया है जो उपयोगकर्ताओं को उन लोगों की छवियों की पहचान करने और उन्हें प्राप्त करने की अनुमति देता है जो उम्र, लिंग और त्वचा के रंग से संतुलित हैं, ताकि लोगों के चेहरे और छवियों पर उनके कार्यों को और अधिक मज़बूती से वर्गीकृत करने के लिए उपयुक्त एल्गोरिदम की सुविधा मिल सके। शोधकर्ताओं ने 30 जनवरी को बार्सिलोना, स्पेन में कम्प्यूटिंग टेक्नोलॉजी एसोसिएशन की सत्यता, विश्वसनीयता और पारदर्शिता पर एक सम्मेलन में अपना काम प्रस्तुत किया।

रसाकोव्स्काया जारी है, "मौलिक तकनीकी अनुभव के साथ प्रयोगशालाओं और शोधकर्ताओं के ध्यान को चर्चा में लाना बहुत महत्वपूर्ण है।" "इस तथ्य को देखते हुए कि हमें एक विशाल पैमाने पर डेटा एकत्र करने की आवश्यकता है, और यह तथ्य कि यह क्राउडसोर्सिंग के माध्यम से महसूस किया जाएगा (क्योंकि यह सबसे कुशल और अच्छी तरह से सिद्ध पाइपलाइन है), सवाल उठता है - हम सबसे बड़ा सुनिश्चित करने के लिए यह कैसे करते हैं। एक परिचित रैक पर कदम के बिना विश्वसनीयता? यह लेख मुख्य रूप से डिजाइन समाधान पर केंद्रित है। "

प्रिंसटन और स्टैनफोर्ड में कंप्यूटर वैज्ञानिकों के एक समूह ने 2009 में शोधकर्ताओं और शिक्षकों के लिए संसाधन के रूप में इमेजनेट का शुभारंभ किया। प्रिंसटन स्नातक और शिक्षक फे-फे ली, अब स्टैनफोर्ड में कंप्यूटर विज्ञान के प्रोफेसर ने पहल की। इमेजनेट का उपयोग करके बेहतर कंप्यूटर विज़न एल्गोरिदम बनाने के लिए शोधकर्ताओं को प्रोत्साहित करने के लिए, टीम ने इमेजनेट लार्ज स्केल विजुअल रिकॉग्निशन चैलेंज भी लॉन्च किया। प्रतियोगिता मुख्य रूप से 1000 श्रेणियों की छवियों का उपयोग करने वाली वस्तुओं की मान्यता पर केंद्रित थी, जिनमें से केवल तीन लोगों को चित्रित किया गया था।

डेटाबेस बनाने के लिए उपयोग की जाने वाली पाइपलाइन से इमेजनेट स्टेम में विश्वसनीयता के कुछ मुद्दे। इसकी छवि श्रेणियां WordNet से ली गई हैं, जो प्राकृतिक भाषा प्रसंस्करण अनुसंधान के लिए उपयोग किए जाने वाले अंग्रेजी शब्दों का एक पुराना डेटाबेस है। इमेजनेट के रचनाकारों ने वर्डनेट से संज्ञा उधार ली है - जिनमें से कुछ, हालांकि वे अच्छी तरह से परिभाषित मौखिक शब्द हैं, एक दृश्य शब्दकोश में खराब रूप से अनुवादित हैं। उदाहरण के लिए, किसी व्यक्ति के धर्म या भौगोलिक उत्पत्ति का वर्णन करने वाले शब्द केवल सबसे प्रमुख छवि खोज परिणाम निकाल सकते हैं, जिसके परिणामस्वरूप एल्गोरिदम हो सकता है जो रूढ़ियों को मजबूत करता है।

ImageNet रूले नामक एक हालिया कला परियोजना ने इन मुद्दों पर ध्यान आकर्षित किया है। छवि पहचान प्रणाली के लिए समर्पित एक कला प्रदर्शनी के हिस्से के रूप में सितंबर 2019 में जारी की गई परियोजना ने इमेजनेट के लोगों की छवियों का उपयोग एक कृत्रिम बुद्धिमत्ता मॉडल को प्रशिक्षित करने के लिए किया, जो प्रस्तुत छवि के आधार पर शब्दों के साथ लोगों को वर्गीकृत करता है। उपयोगकर्ता अपनी छवि अपलोड कर सकते हैं और इस मॉडल के आधार पर एक टैग प्राप्त कर सकते हैं। वर्गीकरण में से कई आक्रामक या बस निराधार थे।

मुख्य नवाचार जिसने इमेजनेट रचनाकारों को टैग की गई छवियों के इतने बड़े डेटाबेस को संचय करने की अनुमति दी, विशेष रूप से अमेज़ॅन मैकेनिकल तुर्क (एमटूरक) प्लेटफ़ॉर्म में क्राउडसोर्सिंग का उपयोग किया गया था, जिसमें कर्मचारियों को उम्मीदवार छवियों को सत्यापित करने के लिए भुगतान किया गया था। यह दृष्टिकोण, हालांकि यह क्रांतिकारी था, फिर भी अपूर्ण था, जिसके कारण कुछ पक्षपाती और अनुचित श्रेणियां थीं।

"जब आप लोगों से उम्मीदवारों की एक विस्तृत श्रृंखला का चयन करके छवियों की जांच करने के लिए कहते हैं, तो लोग कुछ चुनने के लिए दबाव महसूस करते हैं, और इन छवियों में विशिष्ट या रूढ़िवादी विशेषताएं होती हैं," लीड लेखक केयू यंग कहते हैं, एक कंप्यूटर विज्ञान स्नातक ।

अध्ययन के दौरान, जान और उनके सहयोगियों ने सबसे पहले ImageNet के लोगों की संभावित अपमानजनक या संवेदनशील श्रेणियों को फ़िल्टर किया। वे अपवित्र या नस्लीय या लिंग अपमान वाली श्रेणियों को आक्रामक मानते थे; संवेदनशील श्रेणियां शामिल हैं, उदाहरण के लिए, यौन अभिविन्यास या धर्म के आधार पर लोगों का वर्गीकरण। श्रेणियों की व्याख्या करने के लिए, उन्होंने 12 स्नातक छात्रों को जीवन के विभिन्न क्षेत्रों से भर्ती किया, यह सुनिश्चित करने के लिए कि वे संवेदनशील नहीं हैं, श्रेणी को चिह्नित करने का निर्देश देते हैं। इसलिए उन्होंने 1593 श्रेणियों को छोड़ दिया - इमेजनेट पर 2932 श्रेणियों के लोगों का लगभग 54%।

फिर शोधकर्ताओं ने मदद के लिए एमटूरक कर्मचारियों की ओर रुख किया, ताकि उन्होंने 1 से 5. के पैमाने पर शेष स्वीकार्य श्रेणियों के "इमेजरी" का मूल्यांकन किया और 4 या उच्चतर इमेजरी की रेटिंग वाली श्रेणियों का चयन करके इस तथ्य को जन्म दिया कि केवल 158 श्रेणियों को स्वीकार्य और पर्याप्त रूप से आलंकारिक रूप में वर्गीकृत किया गया था। यहां तक ​​कि श्रेणियों के ध्यान से फ़िल्टर किए गए सेट में 133,000 से अधिक छवियां थीं - कंप्यूटर दृष्टि एल्गोरिदम को पढ़ाने के लिए उदाहरणों की एक बड़ी संख्या।

इन 158 श्रेणियों के भीतर, शोधकर्ताओं ने ImageNet में पूर्वाग्रह के स्तर का आकलन करने और अधिक उपयुक्त डेटा सेट बनाने के लिए एक दृष्टिकोण विकसित करने के लिए छवियों में लोगों के जनसांख्यिकीय प्रतिनिधित्व का अध्ययन किया। ImageNet सामग्री मुख्य रूप से फ़्लिकर जैसे छवि-लक्षित खोज इंजनों से आती है। खोज इंजन, कुल मिलाकर, ऐसे परिणाम लौटाते हैं जो पुरुषों, निष्पक्ष-चमड़ी वाले लोगों और 18 से 40 वर्ष की आयु के वयस्कों का प्रतिनिधित्व करते हैं।

"लोगों ने पाया है कि जनसांख्यिकीय खोज के संदर्भ में छवि खोज परिणाम अत्यधिक पक्षपाती हैं, इसलिए छविनेट का भी पक्षपातपूर्ण वितरण है," यंग कहते हैं। "इस लेख में, हमने पूर्वाग्रह के स्तर का आकलन करने की कोशिश की, और एक ऐसी विधि का भी प्रस्ताव किया जो वितरण को संतुलित करे।"

शोधकर्ताओं ने तीन विशेषताओं की पहचान और समीक्षा की है जो कि अमेरिका के भेदभाव-विरोधी कानूनों के तहत संरक्षित हैं: त्वचा का रंग, लिंग और उम्र। MTurk कार्यकर्ताओं को छवि में प्रत्येक व्यक्ति की प्रत्येक विशेषता को एनोटेट करने के लिए कहा गया था। उन्होंने त्वचा के रंग को प्रकाश, मध्यम या अंधेरे के रूप में वर्गीकृत किया; और बच्चों की उम्र (18 वर्ष से कम), वयस्कों की उम्र 18 से 40 वर्ष, वयस्कों की उम्र 40-65 वर्ष या वयस्कों की आयु 65 वर्ष से अधिक हो सकती है।
लिंग वर्गीकरण में पुरुष, महिला और अनिश्चित लिंग शामिल थे - विभिन्न लिंग अभिव्यक्तियों वाले लोगों को शामिल करने का एक तरीका, साथ ही साथ छवियों का एनोटेट जिसमें दृश्य संकेतों (जैसे कई बच्चों या स्कूबा गोताखोरों की छवियां) द्वारा लिंग का अनुमान नहीं लगाया जा सकता है।

एनोटेशन के विश्लेषण से पता चला है कि खोज परिणामों में, इमेजनेट सामग्री एक महत्वपूर्ण पूर्वाग्रह को दर्शाती है। अधिकांश श्रेणियों में काले, महिलाओं और 40 से अधिक वयस्कों को चिह्नित किया गया।

हालांकि एनोटेशन प्रक्रिया में गुणवत्ता नियंत्रण शामिल था और आवश्यक था कि एनोटेटर्स आम सहमति तक पहुंचें, क्योंकि गलत एनोटेशन के संभावित नुकसान के बारे में चिंताओं के कारण, शोधकर्ताओं ने व्यक्तिगत छवियों के लिए जनसांख्यिकीय एनोटेशन जारी करने का विकल्प नहीं चुना। इसके बजाय, उन्होंने एक वेब-आधारित उपकरण विकसित किया जो उपयोगकर्ताओं को छवियों के एक सेट को पुनः प्राप्त करने की अनुमति देता है जो उपयोगकर्ता द्वारा निर्दिष्ट तरीके से जनसांख्यिकी रूप से संतुलित हैं। उदाहरण के लिए, प्रोग्रामर श्रेणी में छवियों के एक पूर्ण संग्रह में लगभग 90% पुरुष और 10% महिलाएं शामिल हो सकती हैं, जबकि संयुक्त राज्य में लगभग 20% प्रोग्रामर महिलाएं हैं। शोधकर्ता के लक्ष्यों पर निर्भर करते हुए, 80% पुरुषों और 20% महिलाओं का प्रतिनिधित्व करने वाले प्रोग्रामर की छवियों का एक सेट प्राप्त करने के लिए नए उपकरण का उपयोग कर सकते हैं - या व्यक्तिगत रूप से भी।

"हम जनसांख्यिकी को संतुलित करने के तरीके के बारे में बात नहीं करना चाहते हैं, क्योंकि यह एक बहुत ही सरल समस्या नहीं है," यंग कहते हैं। "वितरण दुनिया के विभिन्न हिस्सों में अलग हो सकता है - उदाहरण के लिए, यूएस में त्वचा के रंगों का वितरण एशियाई देशों में वितरण से अलग है। इसलिए, हम इस प्रश्न को अपने उपयोगकर्ता पर छोड़ देते हैं और बस छवियों के एक संतुलित उपसमूह को निकालने के लिए एक उपकरण प्रदान करते हैं। ”

इस अध्ययन में विकसित किए गए फेस फ़िल्टरिंग और रीबैलेंसिंग टूल के अलावा, इमेजनेट टीम वर्तमान में अपने उपकरणों और डेटाबेस के तकनीकी अपडेट पर काम कर रही है। ImageNet जल्द ही इन अपडेट और कंप्यूटर विज़न शोधकर्ताओं समुदाय से प्रतिक्रिया के लिए अनुरोध के साथ फिर से जारी किया जाएगा।


प्रिंसटन पीएचडी क्लिंट किनामी और कंप्यूटर विज्ञान के एसोसिएट प्रोफेसर, जिया डांग, यंग, ​​ली और रसाकोस्काया के सह-लेखक हैं। अध्ययन को नेशनल साइंस फाउंडेशन द्वारा समर्थित किया गया था।


स्रोत: इंजीनियरिंग विभाग, प्रिंसटन विश्वविद्यालय द्वारा प्रदान की गई

सामग्री । मौली चार्लच द्वारा लिखित मूल। पी नोट: सामग्री को शैली और लंबाई द्वारा संशोधित किया जा सकता है। लिंक: काइउ यांग, क्लिंट किनामी, ली फी-फी, जिया डेंग, ओल्गा रसाकोवस्की। उचित डेटासेट की ओर: ImageNet पदानुक्रम में उपप्रकार के लोगों के वितरण को फ़िल्टर करना और संतुलित करना। निष्पक्षता, जवाबदेही और पारदर्शिता पर 2020 सम्मेलन की कार्यवाही, 2020 DOI: 10.1145 / 3351095.3375709

---

पाठ्यक्रम के बारे में अधिक जानें

---