संभाव्य मशीन सीखने के तरीके डेटा विश्लेषण में तेजी से शक्तिशाली उपकरण बन रहे हैं, जो चुनाव परिणामों की भविष्यवाणी से लेकर गरीबी को दूर करने पर माइक्रोलोन्स के प्रभाव की भविष्यवाणी करने तक, विषयों और अनुप्रयोगों में महत्वपूर्ण निर्णयों की एक श्रृंखला को सूचित करते हैं।
विधियों का यह वर्ग निर्णय लेने में अनिश्चितता को संभालने के लिए संभाव्यता सिद्धांत से परिष्कृत अवधारणाओं का उपयोग करता है । लेकिन गणित उनकी सटीकता और प्रभावशीलता को निर्धारित करने में पहेली का केवल एक टुकड़ा है। एक विशिष्ट डेटा विश्लेषण में, शोधकर्ता कई व्यक्तिपरक विकल्प बनाते हैं, या संभावित रूप से मानवीय त्रुटि का परिचय देते हैं, जिसका मूल्यांकन इन विधियों के आधार पर निर्णयों की गुणवत्ता में उपयोगकर्ताओं के विश्वास को विकसित करने के लिए भी किया जाना चाहिए।
इस मुद्दे को हल करने के लिए, MIT कंप्यूटर वैज्ञानिक तमारा ब्रोडरिक,
इलेक्ट्रिकल इंजीनियरिंग और कंप्यूटर विज्ञान विभाग (EECS) में एसोसिएट प्रोफेसर और सूचना और निर्णय प्रणाली (LIDS) के लिए प्रयोगशाला के एक सदस्य और शोधकर्ताओं की एक टीम ने एक वर्गीकरण प्रणाली विकसित की है। -एक ” विश्वास का वर्गीकरण “—यह परिभाषित करता है कि डेटा विश्लेषण में विश्वास कहां टूट सकता है और प्रत्येक चरण पर विश्वास को मजबूत करने के लिए रणनीतियों की पहचान करता है। परियोजना के अन्य शोधकर्ता केंटकी विश्वविद्यालय में प्रोफेसर अन्ना स्मिथ, कोलंबिया विश्वविद्यालय में प्रोफेसर तियान झेंग और एंड्रयू जेलमैन और लंदन स्कूल ऑफ इकोनॉमिक्स में प्रोफेसर राचेल मीगर हैं। टीम की आशा उन चिंताओं को उजागर करना है जो पहले से ही अच्छी तरह से अध्ययन की जा चुकी हैं और जिन पर अधिक ध्यान देने की आवश्यकता है।
फरवरी में साइंस एडवांस में प्रकाशित उनके पेपर में, शोधकर्ता डेटा विश्लेषण प्रक्रिया में चरणों का विवरण देते हुए शुरू करते हैं जहां विश्वास टूट सकता है: विश्लेषक इस बारे में विकल्प चुनते हैं कि कौन सा डेटा एकत्र करना है और कौन से मॉडल, या गणितीय प्रतिनिधित्व, वास्तविक जीवन की समस्या या प्रश्न को सबसे बारीकी से प्रतिबिंबित करते हैं जिसका वे उत्तर देना चाहते हैं . वे मॉडल को फिट करने के लिए एल्गोरिदम का चयन करते हैं और उन एल्गोरिदम को चलाने के लिए कोड का उपयोग करते हैं। इनमें से प्रत्येक कदम विश्वास निर्माण के लिए अद्वितीय चुनौतियों का सामना करता है। मापने योग्य तरीकों से सटीकता के लिए कुछ घटकों की जाँच की जा सकती है। उदाहरण के लिए, “क्या मेरे कोड में बग हैं?” एक ऐसा प्रश्न है जिसका वस्तुनिष्ठ मानदंडों के विरुद्ध परीक्षण किया जा सकता है। अन्य समय में, समस्याएँ अधिक व्यक्तिपरक होती हैं, जिनका कोई स्पष्ट उत्तर नहीं होता है; विश्लेषकों को डेटा इकट्ठा करने और यह तय करने के लिए कई रणनीतियों का सामना करना पड़ता है कि कोई मॉडल वास्तविक दुनिया को दर्शाता है या नहीं।
“मुझे लगता है कि इस वर्गीकरण को बनाने के बारे में जो अच्छा है वह यह है कि यह वास्तव में हाइलाइट करता है कि लोग कहां ध्यान केंद्रित कर रहे हैं। मुझे लगता है कि बहुत सारे शोध स्वाभाविक रूप से इस स्तर पर केंद्रित हैं ‘क्या मेरे एल्गोरिदम किसी विशेष गणितीय समस्या को हल कर रहे हैं?’ आंशिक रूप से क्योंकि यह बहुत उद्देश्यपूर्ण है, भले ही यह एक कठिन समस्या हो,” ब्रोडरिक कहते हैं।
“मुझे लगता है कि इसका जवाब देना वास्तव में कठिन है ‘क्या एक महत्वपूर्ण लागू समस्या को एक निश्चित तरीके से गणित करना उचित है?’ क्योंकि यह किसी तरह एक कठिन जगह में जा रहा है, यह अब सिर्फ एक गणितीय समस्या नहीं है।”
एक मॉडल में वास्तविक जीवन को कैप्चर करना
जहां भरोसा टूटता है, वहां वर्गीकृत करने में शोधकर्ताओं का काम, हालांकि यह अमूर्त लग सकता है, वास्तविक दुनिया के अनुप्रयोग में निहित है।
कागज पर एक सह-लेखक मेगर ने विश्लेषण किया कि क्या माइक्रोफाइनेंस का समुदाय में सकारात्मक प्रभाव हो सकता है। यह परियोजना एक केस स्टडी बन गई जहां विश्वास टूट सकता है, और इस जोखिम को कम करने के तरीके।
पहली नज़र में, माइक्रोफाइनेंसिंग के प्रभाव को मापना एक सीधा प्रयास लग सकता है। लेकिन किसी भी विश्लेषण की तरह, शोधकर्ताओं को प्रक्रिया के प्रत्येक चरण में चुनौतियों का सामना करना पड़ता है जो परिणाम में विश्वास को प्रभावित कर सकता है। माइक्रोफाइनेंसिंग- जिसमें व्यक्तियों या छोटे व्यवसायों को पारंपरिक बैंकिंग के बदले में छोटे ऋण और अन्य वित्तीय सेवाएं प्राप्त होती हैं-कार्यक्रम के आधार पर विभिन्न सेवाओं की पेशकश कर सकते हैं। विश्लेषण के लिए, मेगर ने मेक्सिको, मंगोलिया, बोस्निया और फिलीपींस सहित दुनिया भर के देशों में माइक्रोफाइनेंस कार्यक्रमों से डेटासेट एकत्र किए।
इस मामले में कई देशों और विभिन्न संस्कृतियों और भौगोलिक क्षेत्रों से विशिष्ट रूप से भिन्न डेटासेट का संयोजन करते समय, शोधकर्ताओं को यह मूल्यांकन करना चाहिए कि क्या विशिष्ट केस अध्ययन व्यापक रुझानों को प्रतिबिंबित कर सकते हैं। हाथ में डेटा को प्रासंगिक बनाना भी महत्वपूर्ण है। उदाहरण के लिए, ग्रामीण मेक्सिको में, बकरियां रखने को एक निवेश के रूप में गिना जा सकता है।
“किसी व्यक्ति के जीवन की गुणवत्ता को मापना कठिन है। लोग इस तरह की चीजों को मापते हैं, ‘छोटे व्यवसाय का व्यावसायिक लाभ क्या है?’ या ‘घरेलू खपत का स्तर क्या है?’ वास्तव में आप वास्तव में किस चीज की परवाह करते हैं, और आप क्या माप रहे हैं, के बीच बेमेल होने की यह संभावना है,” ब्रोडरिक कहते हैं। “इससे पहले कि हम गणितीय स्तर पर पहुँचें, हम किस डेटा और किन धारणाओं पर झुक रहे हैं?”
मौजूदा डेटा के साथ, विश्लेषकों को वास्तविक दुनिया के उन सवालों को परिभाषित करना चाहिए जिनका वे जवाब देना चाहते हैं। माइक्रोफाइनेंसिंग के लाभों के मूल्यांकन के मामले में, विश्लेषकों को परिभाषित करना चाहिए कि वे सकारात्मक परिणाम क्या मानते हैं। यह अर्थशास्त्र में मानक है, उदाहरण के लिए, उन समुदायों में प्रति व्यवसाय औसत वित्तीय लाभ को मापने के लिए जहां माइक्रोफाइनेंस कार्यक्रम शुरू किया गया है। लेकिन एक औसत की रिपोर्ट करने से शुद्ध सकारात्मक प्रभाव का संकेत मिल सकता है, भले ही पूरे समुदाय के बजाय केवल कुछ (या एक भी) व्यक्ति को लाभ हुआ हो।
“आप वास्तव में चाहते थे कि बहुत सारे लोग लाभान्वित हों,” ब्रोडरिक कहते हैं। “यह सरल लगता है। हमने उस चीज़ को क्यों नहीं मापा जिसकी हम परवाह करते हैं? लेकिन मुझे लगता है कि यह वास्तव में सामान्य है कि चिकित्सक कई कारणों से मानक मशीन लर्निंग टूल का उपयोग करते हैं। और ये उपकरण एक प्रॉक्सी की रिपोर्ट कर सकते हैं जो हमेशा नहीं होता है ब्याज की मात्रा से सहमत हैं।”
विश्लेषक सचेत रूप से या अवचेतन रूप से उन मॉडलों का पक्ष ले सकते हैं जिनसे वे परिचित हैं, विशेष रूप से उनके ins और outs को सीखने में काफी समय लगाने के बाद। ब्रोडरिक कहते हैं, “हो सकता है कि कोई गैर-मानक पद्धति को आजमाने में हिचकिचाए क्योंकि वे कम निश्चित हो सकते हैं कि वे इसे सही तरीके से उपयोग करेंगे। या सहकर्मी समीक्षा कुछ परिचित तरीकों का समर्थन कर सकती है, भले ही एक शोधकर्ता गैर-मानक तरीकों का उपयोग करना पसंद करे।” “बहुत सारे कारण हैं, समाजशास्त्रीय रूप से। लेकिन यह भरोसे के लिए चिंता का विषय हो सकता है।”
अंतिम चरण, कोड की जाँच करना
ब्रोडरिक कहते हैं, एक वास्तविक जीवन की समस्या को एक मॉडल में डिस्टिल करते समय एक बड़ी-तस्वीर, अनाकार समस्या हो सकती है, एक एल्गोरिथ्म चलाने वाले कोड की जांच करना “प्रोसिक” महसूस कर सकता है। लेकिन यह एक और संभावित रूप से अनदेखा क्षेत्र है जहां विश्वास को मजबूत किया जा सकता है।
कुछ मामलों में, एक कोडिंग पाइपलाइन की जाँच करना जो एक एल्गोरिथ्म को निष्पादित करता है, एक विश्लेषक के काम के दायरे से बाहर माना जा सकता है, खासकर जब मानक सॉफ़्टवेयर पैकेजों का उपयोग करने का विकल्प होता है।
बग पकड़ने का एक तरीका यह जांचना है कि क्या कोड प्रतिलिपि प्रस्तुत करने योग्य है। हालाँकि, क्षेत्र के आधार पर, प्रकाशित कार्य के साथ कोड साझा करना हमेशा एक आवश्यकता या मानक नहीं होता है। जैसे-जैसे मॉडल समय के साथ जटिलता में वृद्धि करते हैं, स्क्रैच से कोड को फिर से बनाना कठिन हो जाता है। किसी मॉडल का पुनरुत्पादन कठिन या असंभव भी हो जाता है।
ब्रोडरिक कहते हैं, “आइए बस हर पत्रिका के साथ शुरू करें जिसमें आपको अपना कोड जारी करने की आवश्यकता होती है। हो सकता है कि यह पूरी तरह से दोबारा जांच न हो, और सब कुछ बिल्कुल सही नहीं है, लेकिन चलो वहां से शुरू करें।”
पेपर के सह-लेखक गेलमैन ने एक विश्लेषण पर काम किया जो वास्तविक समय में राज्य और राष्ट्रीय चुनावों का उपयोग करके 2020 के अमेरिकी राष्ट्रपति चुनाव का अनुमान लगाता है। टीम ने द इकोनॉमिस्ट में दैनिक अपडेट प्रकाशित किए , साथ ही अपना कोड ऑनलाइन भी प्रकाशित किया ताकि कोई भी व्यक्ति खुद को डाउनलोड और चला सके। पूरे सीज़न के दौरान, बाहरी लोगों ने मॉडल में दोनों बग और वैचारिक समस्याओं को इंगित किया, अंततः एक मजबूत विश्लेषण में योगदान दिया।
शोधकर्ता स्वीकार करते हैं कि एक आदर्श मॉडल बनाने के लिए कोई एक समाधान नहीं है , विश्लेषकों और वैज्ञानिकों के पास लगभग हर मोड़ पर विश्वास को मजबूत करने का अवसर है।
ब्रोडरिक कहते हैं, “मुझे नहीं लगता कि हम इनमें से किसी भी चीज़ के सही होने की उम्मीद करते हैं,” लेकिन मुझे लगता है कि हम उनसे बेहतर या जितना संभव हो उतना अच्छा होने की उम्मीद कर सकते हैं।