🙍🏾 😽 💪🏿 पावर बीआई में रिपोर्टिंग करते समय त्रुटियों के आसपास कैसे काम करें और बड़े डेटा के लिए अपलोड सिस्टम के निर्माण के लिए आएं 🤼 ✌🏾 👩🏿‍🤝‍👩🏼

सुंदर और समझने योग्य पावर बीआई डैशबोर्ड के पीछे अक्सर तैयारी और डेटा खनन के सप्ताह होते हैं। खासकर जब यह हर महीने लाखों आगंतुकों के ट्रैफिक वॉल्यूम के साथ एक बड़े संगठन में उपयोगी बीआई रिपोर्टिंग के निर्माण की बात आती है।

इस लेख में, मैं कई कंपनियों (रूसी ई-कॉमर्स, बीमा कंपनियों, आदि के बड़े प्रतिनिधियों) में वेब एनालिटिक्स सिस्टम से डेटा के आधार पर बीआई रिपोर्टिंग का निर्माण करते समय कई नकारात्मक पहलुओं का वर्णन करना चाहता हूं। लेख का उद्देश्य विरोधी विज्ञापन करना, या इसके विपरीत, कुछ उपकरणों या निर्णयों का विज्ञापन करना नहीं है। यह अन्य उपयोगकर्ताओं के लिए संभावित नकारात्मक क्षणों से बचने और समाधान के लिए विकल्पों का संकेत देने में मदद करने के लिए तैयार किया गया है।

अस्वीकरण

मैं बड़ी मात्रा में डेटा के बारे में बात कर रहा हूं और Google Analytics 360 से अपलोड करने और नमूने लेने के उदाहरण दिखा रहा हूं। कम मात्रा में डेटा वाली परियोजनाओं पर, ऐसी कठिनाइयां मौजूद नहीं हो सकती हैं। मैं अभ्यास में सभी पहचाने गए समस्याओं से मिला और लेख में मैंने हल करने में केवल अपने अनुभव का वर्णन किया है - आपका पूरी तरह से अलग हो सकता है।

यैंडेक्स से संबंध। Mricrica

Yandex.Metrica में Google Analytics की तुलना में मील के नमूने की स्थिति और एक सहज ज्ञान युक्त अंतरफलक है। इसलिए, कई विपणक Yandex.Metrica को पसंद करते हैं और वहां से डेटा अपलोडिंग पर BI रिपोर्टिंग का निर्माण करते हैं। ऐसा करने के लिए, मैक्सिम उवरोव के कनेक्टर का उपयोग करें । यह विधि असुरक्षित है और जटिल अनुरोधों को संसाधित करने की अनुमति नहीं देती है।

बड़ी कंपनियों को गारंटी की जरूरत होती है कि गोपनीय जानकारी गुप्तचरों के हाथ में नहीं आएगी, और वित्तीय संकेतकों का उपयोग केवल हितधारकों और विशेष रूप से कंपनी के भीतर ही किया जाएगा।

पहला बड़ा ऋण यह है कि पावर बीआई में कनेक्टर का उपयोग करने के लिए, आपको "गोपनीयता के स्तर को अनदेखा करें" सेटिंग को सक्षम करने की आवश्यकता है, अन्यथा यह सिर्फ काम नहीं करेगा।

इस प्रकार, गोपनीय डेटा किसी भी अनधिकृत उपयोगकर्ता के हाथों में आ सकता है। पॉवर बीआई सहायता के एक अंश द्वारा इसकी पुष्टि की गई है।

डेटा कनेक्शन अनाम है। हालांकि, उन उपयोगकर्ताओं को इस डेटा का उपयोग करने की अनुमति के लिए कोई प्राधिकरण या जाँच नहीं है, जिन्हें वास्तव में अनुमति है।

इन कनेक्टर्स को काम करने के लिए, आपको ऊहथ एक्सेस टोकन प्राप्त करना होगा। कनेक्टर का विवरण आपके खाते को एप्लिकेशन एक्सेस देने के तरीके के बारे में एक लिंक प्रदान करता है।

वास्तव में, एक तृतीय-पक्ष एप्लिकेशन आपके खाते तक पहुंच प्राप्त करेगा। कोई भी आपके डेटा की सुरक्षा के लिए गारंटी नहीं देता है।

दूसरा ऋण यह है कि Yandex.Metrica API बड़ी परियोजनाओं पर बड़ी मात्रा में डेटा संसाधित नहीं कर सकता है, और परिणामस्वरूप, कनेक्टर भी कच्चे Yandex.Metrica डेटा पर जटिल प्रश्नों के साथ काम करने से इनकार करता है - यह उन्हें अनलोड नहीं करता है।

उदाहरण के लिए, आपको किसी भी जटिल फिल्टर के बिना, एक वर्ष के लिए डेटा अपलोड करने की आवश्यकता है। कनेक्टर एक त्रुटि फेंकता है: “अनुरोध बहुत जटिल है। कृपया दिनांक रिक्ति या नमूनाकरण को कम करें। "

बेशक, यह Yandex.Metrica API की त्रुटि का अनुवाद है। हालाँकि, इस मामले में, हमारे पास महीने या दिन के आधार पर ब्रेकडाउन के साथ डेटा डाउनलोड करने का कोई विकल्प नहीं है - उदाहरण के लिए, प्रत्येक महीने के लिए डेटा को साइकल करना और उन्हें एपीआई त्रुटि पर काबू पाने के लिए एकल डेटासेट में संयोजित करना।
यदि आप अवधि को महत्वपूर्ण रूप से कम करते हैं, तो एपीआई आपको डेटा पंप करने की अनुमति देता है, लेकिन यह केवल एक छोटा सा हिस्सा है जो हमें चाहिए।

बड़ी रिपोर्ट बनाने के लिए, छोटी अवधि के लिए उतार-चढ़ाव अव्यवहारिक और असुविधाजनक है। व्यवहार में, आपको अक्सर प्रति दिन भारी संख्या में विज़िट के साथ जटिल खुली साइट फ़नल के माध्यम से अनलोडिंग की आवश्यकता होती है। विशेष रूप से यात्राओं के जटिल खंडों का उपयोग करते समय, आवश्यक डेटा अपलोड करना व्यावहारिक रूप से असंभव है।

यहां तक कि अगर आप डेटा लोड करने में सक्षम थे, तो यह एक तथ्य नहीं है कि रिपोर्टिंग को स्वयं बनाने के लिए डेटा मॉडल को अपलोड करना संभव होगा, क्योंकि विभिन्न लोडिंग त्रुटियां हर अब और फिर से पॉप अप होती हैं। किसी कारण से, यहां तक कि सामान्य रूप से भरी हुई तालिका के साथ भी त्रुटियां होती हैं।

कंपनी के भीतर सभी हितधारकों के लिए Yandex.Metrica API कनेक्टर पर निर्मित रिपोर्ट का उपयोग करने में सक्षम होने के लिए, आपको रिपोर्ट को PowerBI सेवा में प्रकाशित करने की आवश्यकता है। इस मामले में, गोपनीयता के स्तर को भी नजरअंदाज करना होगा।

जब विज़ुअलाइज़ेशन कॉन्फ़िगर किया गया है और रिपोर्ट Microsoft क्लाउड में प्रकाशित हुई है, तो कनेक्टर एक संयुक्त क्वेरी त्रुटि प्रदर्शित करेगा और पावर बीआई सेवा के माध्यम से अपडेट नहीं किया जाएगा - आप अपनी रिपोर्ट के निर्धारित अद्यतन को कॉन्फ़िगर करने में सक्षम नहीं होंगे। त्रुटि तब होती है जब कोई एक क्वेरी, जो अंतिम अपलोड तालिका बनाती है, बाहरी और आंतरिक क्वेरी के साथ-साथ काम का तर्क समाहित करती है।

त्रुटि में, "कॉल की गई फ़ंक्शन"

तालिका को केवल संकेत दिया गया है: यह तालिका PQYM फ़ंक्शन के कारण प्राप्त की जाती है, जो बाहरी डेटा स्रोत - Yandex.Metrica API के साथ काम करती है। पावर बीआई में रिपोर्टिंग अपडेट तंत्र काम नहीं करता है और प्रश्नों के संयोजन को फिर से करने के लिए कहता है। यह एक बाहरी अनुरोध से जुड़ने के लिए एक अनुरोध के आंतरिक लिंक के कारण है, साथ ही साथ फ़ंक्शन की संरचना के कारण भी है।

हमने रिपोर्टिंग के निर्माण के समय इस तरह के कनेक्टर का उपयोग नहीं करने का फैसला किया और पायथन स्क्रिप्ट के माध्यम से Yandex.Metrica API से डेटा को अनलोड करने के लिए स्विच किया, इस बारे में लेख में और बाद में।

Google Analytics कनेक्टर

Google Analytics डेटा पर रिपोर्टिंग बनाने के लिए (हम एनालिटिक्स सिस्टम से डायरेक्ट डाउनलोडिंग के बारे में बात कर रहे हैं), इसमें मैक्सिम उवरोव कनेक्टर भी है ।

यहां आपको “गोपनीयता के स्तर को अनदेखा” करना होगा। आपके एनालिटिक्स सिस्टम के एपीआई तक पहुंच, जिसमें ऑनलाइन बिक्री पर डेटा होता है, एक अनाम कनेक्शन पर होता है।

निर्देशों के अनुसार, फिर से आपको केवल एक Google खाते के लिए एक तृतीय-पक्ष एप्लिकेशन तक पहुंच खोलनी होगी, जिसमें आपके डेटा की गोपनीयता के लिए खतरा है।

आप कनेक्टर में कुछ डेटा को फिर से लिख सकते हैं और इसे अपने स्वयं के अनुप्रयोग के लिए उपयोग करना शुरू कर सकते हैं। ऐसा करने के लिए, cloud.google.com पर "OAuth 2.0 क्लाइंट आईडी" पंजीकृत करें, पहुंच टोकन प्राप्त करें और इसके काम के तंत्र में आवश्यक पहुंच कुंजी दर्ज करें। लेकिन यहां तक कि ये क्रियाएं नमूनाकरण के खिलाफ लड़ाई और आपकी रिपोर्टिंग को अपडेट करने में भी मदद नहीं करेंगी।

जब भी आप Google Analytics API के एकत्रित डेटा को स्पर्श करते हैं, तो हम हमेशा नमूने का सामना करेंगे।

कनेक्टर में एक दिन उतारने का विकल्प होता है, लेकिन यहां तक कि यह हमेशा नहीं बचाता है। कनेक्टर में बनाया गया नमूना संकेतक दर्शाता है कि यह एक दिन में भी है।

उदाहरण के लिए, शॉपिंग स्टेज द्वारा टूटा हुआ सत्र डेटा इतनी मात्रा में डेटा पर नमूने के बिना अपलोड नहीं किया जा सकता है। यह रिपोर्ट बनाते समय डेटा और उपायों में बड़ी त्रुटियों को जन्म देगा, खासकर जब यह आवश्यक है कि एक चरण से दूसरे चरण में संक्रमण के रूपांतरण की सही गणना करें, या खंडों की एक जटिल संरचना के साथ फ़नल पर डेटा अपलोड करें।

भले ही डेटा हानि आपके लिए महत्वपूर्ण नहीं है, फिर भी आप अपनी रिपोर्ट के निर्धारित अद्यतन को Power BI सेवा के माध्यम से कॉन्फ़िगर नहीं कर सकते।

कार्य के तंत्र की एक ही त्रुटि हस्तक्षेप करती है, केवल PQGA फ़ंक्शन।

हमने इस कनेक्टर के साथ काम करने से भी इनकार कर दिया।

Google Analytics नेटिव कनेक्टर

कभी-कभी Google और Microsoft एक-दूसरे को रियायत देते हैं: पावर बाय आउट में एक मानक Google Analytics कनेक्टर होता है। दुर्भाग्य से, Yandex.Metrica के लिए ऐसा कोई विकल्प नहीं है।

मैक्सिम उवरोव के कनेक्टर की तुलना में Google Analytics API के साथ काम करने का तंत्र अधिक सुविधाजनक रूप से यहां लागू किया गया है, लेकिन बड़ी संख्या में संकेतक डाउनलोड करने के दौरान, डेटा बहुत नमूना है। स्क्रीनशॉट में दोहराए गए नंबर सैंपल किए गए डेटा हैं।

आप नमूना लेने से बच सकते हैं यदि आप केवल दिनांक और किसी एक संकेतक द्वारा टूटी हुई मिनी-टेबल को अनलोड करते हैं। उदाहरण के लिए, दिनांक, सत्रों की संख्या और डिवाइस प्रकार। और फिर इन तालिकाओं से आवश्यक रिपोर्टिंग एकत्र करने के लिए।

यदि आपके पास लाखों ट्रैफ़िक नहीं हैं, तो यह मदद कर सकता है। हालांकि, रिपोर्टिंग जानकारीपूर्ण नहीं होगी और स्केलेबिलिटी पर सीमाओं के साथ: डेटा मॉडल में कई मिनी-टेबल के कारण, उनके बीच संबंध बनाना मुश्किल है। यह फिल्टर और स्लाइस के निर्माण पर प्रतिबंध लगाता है।

आप मानक कनेक्टर को फिर से लिख सकते हैं और इसे प्रत्येक दिन के लिए डेटा अपलोड करने के लिए मजबूर कर सकते हैं, जबकि डेटा जीए इंटरफेस में वास्तविक संख्याओं के करीब होगा, लेकिन आप नमूने से बचने में सक्षम नहीं होंगे।

मेरी टिप्पणियों के अनुसार, शॉपिंग स्टेज सत्रों के टूटने में, एक भी कनेक्टर सामान्य रूप से बड़ी मात्रा में डेटा के नमूने के बिना डेटा अपलोड करने में सक्षम नहीं हुआ है।

मानक कनेक्टर में, आप डाउनलोड तिथियों को अनुकूलित नहीं कर सकते। यह सब बस फ़ोल्डर्स में व्यवस्थित Google Analytics API से मापदंडों और मैट्रिक्स का चयन है।

यह कनेक्टर छोटे और मध्यम आकार के इंटरनेट प्रोजेक्ट के लिए उपयुक्त है जिसमें थोड़ा ट्रैफ़िक है। यहां, Yandex.Metrica से डेटा प्राप्त करने के साथ एक समान स्थिति उत्पन्न होती है। सटीकता के नुकसान के बिना सभी आवश्यक जानकारी केवल स्क्रिप्ट या विशेष डेटा स्ट्रीमिंग सेवाओं का उपयोग करके सीधे एपीआई के माध्यम से डाउनलोड की जा सकती है - इस पर बाद में लेख में।

गूगल द्वारा पहियों में चिपक जाती है

हाल ही में, हमने एक अजीब लॉक देखा - जब Google Analytics में "मूल" कनेक्टर के लिए अपडेट को कॉन्फ़िगर करने का प्रयास किया गया था, तो पॉवर BI सेवा इंटरफ़ेस में Google खाते के माध्यम से एक प्राधिकरण त्रुटि दिखाई दी।

हमने Google से यह पता लगाने की कोशिश की कि ऐसी स्थिति में क्या करना है और कैसे खाते की प्रतिष्ठा को "सफ़ेद करना" है, लेकिन हमारे प्रयास विफल रहे। हमने नए खातों को पंजीकृत करने और विभिन्न उपकरणों के माध्यम से लॉग इन करने की कोशिश की - Google ने किसी भी प्राधिकरण के प्रयासों को अवरुद्ध कर दिया।

अवरुद्ध होने के लगभग एक महीने बाद, हम अभी भी उसी खाते के माध्यम से लॉग इन करने में सफल रहे, लेकिन इस तरह की घटना समय पर आवश्यक बीआई-रिपोर्टिंग को जारी करने में बाधा डाल सकती है और ग्राहक को अजीब स्थिति में डाल सकती है। ताला के तुरंत बाद, हम स्थिति से बाहर निकलने के संभावित तरीके की तलाश करने लगे। अप्रत्याशित तालों से बचने के लिए, हमने BI रिपोर्टिंग के लिए आवश्यक डेटा के साथ अपना स्वयं का नियंत्रित वातावरण बनाने का निर्णय लिया।

समाधान के विकल्प

मध्यम और बड़े संगठनों के लिए आवश्यक बीआई-रिपोर्टिंग प्राप्त करें, और नमूना के बिना भी संभव है। लेकिन आपको थोड़ा प्रयास करने और कई तरीकों में से एक को चुनने की आवश्यकता है।

आप स्ट्रीमिंग डेटा के लिए तैयार सेवाओं का उपयोग कर सकते हैं। उनका मुख्य उद्देश्य एनालिटिक्स सिस्टम, विभिन्न विज्ञापन प्रणालियों, सीआरएम और अन्य सेवाओं के डेटा को किसी भी स्टोरेज पर अपलोड करना है। सुविधाजनक, तेज और व्यावहारिक, लेकिन मुफ्त नहीं। कई स्रोतों के साथ डेटा या डेटा के बड़े संस्करणों पर, मात्राएं मूर्त हैं।

सबसे प्रसिद्ध सेवाएं:

इनमें से प्रत्येक सिस्टम आपको Power BI से कनेक्ट करने और रिपोर्ट बनाने के लिए वेब एनालिटिक्स सिस्टम (Yandex.Metrics और Google Analytics) से दैनिक स्ट्रीमिंग को डेटाबेस (उदाहरण के लिए, BigQuery, Azure SQL Database, Microsoft SQL Server या ClickHouse) से डेटाबेस में कॉन्फ़िगर करने की अनुमति देता है।

यदि सूचीबद्ध उपकरण कंपनी के लिए बहुत महंगे हैं, तो आप अपने डेटा अपलोड सिस्टम को लागू करने की कोशिश कर सकते हैं और Power BI + Python + Any Cloud Server (या Yandex.Cloud) + PostgreSQL का उपयोग कर सकते हैं। यह वह विधि है जिसका उपयोग हम BI रिपोर्टिंग बनाते समय करते हैं।

सिस्टम इंटरेक्शन योजना:

काम की ऐसी योजना डेटा के आवश्यक संरक्षण, स्वायत्तता और एकत्रीकरण प्रदान करती है। एक बार ऐसी योजना स्थापित करने के बाद, आपको जानकारी एकत्र करने में समय बिताने की आवश्यकता नहीं होगी - सब कुछ भंडार में है, आपको बस कनेक्ट करना है और पावर बीआई पर एक रिपोर्ट बनाना शुरू करना है।

अजगर लिपियों आवश्यक स्रोतों से एपीआई के अनुसार सभी डेटा "खींच", डेटाबेस या प्रपत्र अनलोडिंग के लिए लिखें (उदाहरण के लिए, सीएसवी प्रारूप में)। एपीआई से अपलोड करने और डेटाबेस में लोड करने के लिए अलग-अलग लेख के लायक है, और किसी दिन मैं इसे लिखूंगा।

बेशक, इंटरनेट पर बहुत सारे टेम्प्लेट और तैयार किए गए समाधान हैं, लेकिन आगे स्केलिंग के लिए सिस्टम की व्यक्तिगत आवश्यकताओं को जानना आवश्यक है जिसके तहत अनलोडिंग के लिए स्क्रिप्ट बनाई जाती हैं।

डेटा एक पूर्व-निर्मित और कॉन्फ़िगर किए गए डेटाबेस में लिखा गया है - हमारे मामले में, पोस्टग्रेक्यूएल। स्क्रिप्ट प्रत्येक दिन के लिए डेटा पंप करती है और एक शेड्यूल के अनुसार उन्हें टेबल पर लिखती है। वे हमारे नियंत्रण में या क्लाइंट की आईटी-सुरक्षा सेवा के नियंत्रण में क्लाउड सर्वर पर स्थित हैं।

बड़ी संख्या में कंपनियां हैं जो क्लाउड स्टोरेज सेवाएं प्रदान करती हैं। व्यक्तिगत प्राथमिकताओं के आधार पर, यैंडेक्स । क्लाउड का चयन किया गया था ।

Yandex.Cloud के लाभ:

प्रीइंस्टॉल्ड PostgreSQL के साथ सुविधाजनक कॉन्फ़िगरेशन और सर्वर रेंटल।
रूसी में व्यापक प्रलेखन, जो स्पष्ट रूप से कहा गया है और आपको सेवा का उपयोग करने का तरीका जानने के लिए जल्दी से अनुमति देता है।
सुविधाजनक सर्वर प्रबंधन।
विशेषज्ञों का तेज़ समर्थन।
विभिन्न उपकरण सेटिंग्स और टैरिफ की लचीलापन: कोई भी किसी भी तैयार कॉन्फ़िगरेशन पैकेज को लागू नहीं करता है, आप अपने उपकरणों के कॉन्फ़िगरेशन को स्वयं चुनते हैं, साथ ही आप तुरंत किसी भी डेटाबेस के प्रीसेट का आदेश दे सकते हैं।

परिणामस्वरूप अपलोड PostgreSQL डेटाबेस को लिखा जाता है। इस डेटाबेस को इसलिए चुना गया क्योंकि यह एक ऑब्जेक्ट-रिलेशनल डीबीएमएस (बहु-आयामी सरणियों के साथ काम करना और "बॉक्स" से JSON समर्थन है - जटिल डेटा संरचनाओं के लिए होना चाहिए)। यह लचीला, विश्वसनीय, मुफ्त है, और इसमें समर्थन का एक विशाल समुदाय भी है।

Power BI में PostgreSQL में एक अंतर्निहित डायरेक्ट कनेक्टर है। पहले कनेक्शन पर, आपको अतिरिक्त Npgsql स्थापित करने की आवश्यकता है । पावर बीआई आपको इसके बारे में सूचित करता है और एक लिंक प्रदान करता है।

क्लाउड स्टोरेज का उपयोग करते समय रिपोर्ट अपडेट कॉन्फ़िगर करने के लिए, आपको Power BI गेटवे को कॉन्फ़िगर करना होगा । यह बीआई रिपोर्टिंग को अपडेट करने और एक डेटाबेस से इसे स्थानांतरित करते समय गोपनीय डेटा की सुरक्षा सुनिश्चित करने के लिए आवश्यक है, जो आपके संगठन के आंतरिक आईटी सर्किट में या एक सुरक्षित क्लाउड सर्वर पर स्थित होना चाहिए।

गेटवे संगठन के आंतरिक नेटवर्क और Microsoft क्लाउड सेवाओं पर स्थित डेटा स्टोरों के बीच तेज़ और सुरक्षित डेटा स्थानांतरण प्रदान करता है। पावर बीआई और गेटवे के बीच डेटा ट्रांसफर सुरक्षित है, और गेटवे प्रशासकों द्वारा प्रदान किए गए सभी क्रेडेंशियल क्लाउड में जानकारी की सुरक्षा के लिए एन्क्रिप्ट किए गए हैं और गेटवे कंप्यूटर पर ही डिक्रिप्ट किए जाते हैं।

पावर बीआई गेटवे को डाउनलोड करने और इसे लॉन्च करने के बाद , एक डायलॉग बॉक्स दिखाई देता है।

गेटवे को पंजीकृत करने और संचालित करने के लिए, पावर बीआई सेवा क्लाउड सेवा की साख की आवश्यकता होती है।

सभी सेटिंग्स के बाद, वर्किंग गेटवे के बारे में एक विंडो दिखाई देती है। अगला, आपको अतिरिक्त सेटिंग्स बनाने की आवश्यकता है ।

PostgreSQL को अनुकूलित करने का एक सरल विकल्प Google BigQuery है। Power BI में Google BigQuery में एक अंतर्निहित कनेक्टर है। इस मामले में, "अनुरोध को पूरा करने के लिए एक बार लागत की गणना करने के लिए सात बार" सिद्धांत का पालन करना आवश्यक है।

BigQuery को सेवा का उपयोग करने के लिए अनुबंध पर बैंक कार्ड बांधकर, एक साल के लिए मुफ्त में इस्तेमाल किया जा सकता है। आपके ज्ञान के बिना समय सीमा के बाद पैसा डेबिट नहीं किया जाएगा। आगे टैरिफिंग - सिस्टम के टैरिफ के अनुसार, लेकिन कुछ सुखद "प्लसस" के साथ।

यदि आपके सिस्टम से डाउनलोड किया गया डेटा 10 जीबी प्रति माह (!) तक नहीं पहुंचता है, तो डाउनलोड करने के लिए कोई शुल्क नहीं लगेगा।

यदि मासिक डेटा प्रोसेसिंग 1 टीबी से अधिक नहीं है, तो इसके लिए कोई शुल्क नहीं लिया जाएगा। यदि अधिक है, तो प्रत्येक उपचार 1 टीबी के लिए $ 5।

यदि आपको प्रति माह 10 जीबी से अधिक स्टोर करने की आवश्यकता है, तो प्रत्येक बाद की गीगाबाइट में $ $ खर्च होंगे।

टैरिफ को BigQuery पेज पर अधिक विस्तार से वर्णित किया गया है ।

सारांश

यदि आपको विभिन्न विश्लेषण प्रणालियों के डेटा की आवश्यकता है, और एक ही समय में, सुरक्षा, सुरक्षा, निरंतर एकत्रीकरण, प्रयोज्य और नमूने की कमी आपके लिए मूलभूत है, तो आपके पास दो तरीके हैं।

पहली स्ट्रीमिंग सेवा है। उनका उपयोग करना आसान है, उनके पास डेटा वेयरहाउस के साथ तकनीकी समर्थन और तैयार एकीकरण है।

नुकसान:

बड़ी मात्रा में डेटा पर मूर्त लागत।
सीमित प्रकार का एकीकरण प्रदान किया गया।
आपकी जानकारी के साथ काम करने के लिए स्ट्रीमिंग सेवा प्रदाता की ओर से अनियंत्रित प्रक्रियाएं।

दूसरा उसका अपना डेटा अपलोड और एग्रीगेशन स्ट्रीम है। स्केलेबल, नियंत्रित, डेटा सुरक्षा के साथ। यह लागू करने के लिए जटिल और समय लेने वाला लग सकता है। यदि कंपनी को बीआई रिपोर्टिंग, इसके आगे की स्थिरता और डेटा सुरक्षा के एक प्रभावी संगठन की आवश्यकता है, तो यह विकल्प सबसे स्वीकार्य है।

वे सभी जो पूरी तरह से बीआई रिपोर्टिंग के बारे में सोच रहे हैं, उन्हें कॉर्पोरेट संस्कृति में आदर्श वाक्य "संरचना, युवाओं से इन आंकड़ों को सुरक्षित रखने" की आवश्यकता है। नियमित बैकअप के साथ और विभिन्‍न श्रेणियों के हितधारकों के लिए इसका उपयोग करने के लिए विभेदित अधिकारों के साथ पूर्ण-दोषपूर्ण सहिष्णु डेटाबेस से बेहतर कुछ भी नहीं है।

एनालिटिक्स सिस्टम से, और एक मोबाइल एप्लिकेशन और अन्य क्लाइंट सेवाओं से अपने डेटा को जमा, संरचना और एकत्र करना आवश्यक है। यह सब भविष्य में किसी भी अनुभाग में आपके दर्शकों और उत्पादों दोनों का विश्लेषण करने में मदद करेगा। सूचना और डेटा अब दुनिया पर राज करते हैं और कभी-कभी पैसे से अधिक खर्च होते हैं।

पायथन स्क्रिप्ट और कार्यान्वयन विवरण का उपयोग करके पोस्टग्रेक्यूएल डेटाबेस में एनालिटिक्स डेटा स्थानांतरित करने के लिए लेख में वर्णित दृष्टिकोण को कैसे लागू किया जाए, मैं निम्नलिखित लेखों में चर्चा करूंगा।