🚋 🧑🏼‍🤝‍🧑🏻 📮 एनालिटिक्स के लिए एक डेटाबेस चुनना 🦆 🙏 👲🏾

जब एनालिटिक्स समस्याएँ पूर्व-निर्मित टूल से आगे जाती हैं, तो संभवतः आपके लिए एनालिटिक्स के लिए डेटाबेस चुनने का समय है। आपको वर्किंग डेटाबेस में प्रश्नों की स्क्रिप्ट नहीं लिखनी चाहिए, क्योंकि आप डेटा के क्रम को बदल सकते हैं और, सबसे अधिक संभावना है, एप्लिकेशन को धीमा कर दें।
यदि विश्लेषक या इंजीनियर वहां काम करते हैं तो आप गलती से महत्वपूर्ण जानकारी भी हटा सकते हैं।

विश्लेषण के लिए, आपको एक अलग प्रकार के डेटाबेस की आवश्यकता है। लेकिन कौन सा सच है?

इस पोस्ट में हम एक औसत कंपनी के लिए ऑफ़र और सर्वोत्तम प्रथाओं पर विचार करेंगे जो अभी काम करना शुरू कर रही है। आप जो भी सेटिंग चुनते हैं, आप भविष्य में जो हम यहां चर्चा कर रहे हैं, उसके प्रदर्शन को बेहतर बनाने के लिए समझौता कर सकते हैं।

बड़ी संख्या में ग्राहकों के साथ काम करते हुए, हमने पाया कि जिन सबसे महत्वपूर्ण मानदंडों पर विचार किया जाना चाहिए, वे हैं:

डेटा का प्रकार का विश्लेषण किया
आपके पास कितना डेटा है?
अपनी इंजीनियरिंग टीम का फोकस
आपको कितनी तेजी से जानकारी चाहिए

आप किस प्रकार के डेटा का विश्लेषण करते हैं?

उस डेटा के बारे में सोचें जिसका आप विश्लेषण करना चाहते हैं। क्या वे एक विशाल एक्सेल स्प्रेडशीट की तरह पंक्तियों और स्तंभों में अच्छी तरह से फिट होते हैं? या यदि आप उन्हें एक वर्ड डॉक्यूमेंट में रखते हैं तो यह और अधिक समझ में आता है?

यदि आपने एक्सेल का उत्तर दिया है, तो पोस्टग्रेज, मायक्यूएल, अमेज़ॅन रिडफ्ट या बिगविक जैसे एक रिलेशनल डेटाबेस आपकी आवश्यकताओं के अनुरूप होगा। ये संरचित संबंधपरक डेटाबेस तब महान होते हैं जब आपको पता होता है कि आपको कौन सा डेटा प्राप्त होने वाला है और वे एक-दूसरे से कैसे संबंधित हैं - मूल रूप से, पंक्तियों और स्तंभों का क्या संबंध है। अधिकांश प्रकार के उपयोगकर्ता विश्लेषण के लिए, रिलेशनल डेटाबेस अच्छा काम करते हैं। उपयोगकर्ता की विशेषताएं जैसे कि नाम, ईमेल और बिलिंग योजनाएं उपयोगकर्ता की घटनाओं और उनके गुणों की तरह तालिका में पूरी तरह से फिट होती हैं ।

दूसरी ओर, यदि आपका डेटा बेहतर कागज के टुकड़े पर फिट बैठता है, तो आपको गैर-संबंधपरक (NoSQL) डेटाबेस जैसे कि Hadoop या Mongo का उल्लेख करना चाहिए।

गैर-संबंधपरक डेटाबेस को अर्ध-संरचित डेटा के निजी मूल्यों (लाखों) की एक बड़ी संख्या की विशेषता है। अर्ध-संरचित डेटा के शास्त्रीय उदाहरण ई-मेल, पुस्तकें और सामाजिक नेटवर्क, दृश्य-श्रव्य डेटा और भौगोलिक डेटा जैसे ग्रंथ हैं। यदि आप बहुत सारे टेक्स्ट माइनिंग, लैंग्वेज प्रोसेसिंग, या इमेज प्रोसेसिंग कर रहे हैं, तो आपको गैर-रिलेशनल डेटा स्टोर का उपयोग करने की आवश्यकता होगी।

आप कितने डेटा के साथ काम कर रहे हैं?

अगला सवाल अपने आप से पूछना है कि आप कितने डेटा के साथ काम कर रहे हैं। आपके पास जितना अधिक डेटा होगा, गैर-संबंधपरक डेटाबेस उतना ही उपयोगी होगा, क्योंकि यह आने वाले डेटा पर प्रतिबंध नहीं लगाएगा, जो आपको डेटाबेस को तेजी से लिखने की अनुमति देगा।

ये सख्त प्रतिबंध नहीं हैं, और हर एक विभिन्न कारकों के आधार पर कम या ज्यादा डेटा को संसाधित कर सकता है, लेकिन हमने पाया कि प्रत्येक डेटाबेस आपकी सीमाओं के भीतर पूरी तरह से काम करता है।

यदि आपके पास 1 टीबी से कम डेटा है, तो पोस्टग्रेज के साथ आपको अच्छा प्रदर्शन मिलेगा। लेकिन यह लगभग 6 टीबी को धीमा कर देता है। यदि आप MySQL पसंद करते हैं, लेकिन थोड़े बड़े पैमाने की जरूरत है, तो अरोरा (अमेज़न का अपना संस्करण) 64 टीबी तक पहुँच सकता है। पेटाबाइट आकार के लिए, अमेजन रेडशिफ्ट आमतौर पर एक अच्छा विकल्प है क्योंकि यह 2PB तक के एनालिटिक्स के लिए अनुकूलित है। समानांतर प्रसंस्करण या यहां तक कि MOAR डेटा के लिए, संभवतः Hadoop पर एक नज़र डालने का समय है।

हालांकि, AWS ने हमें बताया कि वे Redshift पर Amazon.com चला रहे हैं, इसलिए यदि आपके पास प्रथम श्रेणी DBA टीम है, तो आप 2PB "सीमा" से आगे बढ़ सकते हैं।

आपकी इंजीनियरिंग टीम किस पर केंद्रित है?

डेटाबेस पर चर्चा करते समय अपने आप से पूछने के लिए यह एक और महत्वपूर्ण प्रश्न है। आपकी समग्र टीम जितनी छोटी होगी, उतनी ही अधिक संभावना होगी कि आपके इंजीनियर मुख्य रूप से डेटा निर्माण और प्रबंधन के बजाय उत्पाद निर्माण पर ध्यान केंद्रित करेंगे। उन लोगों की संख्या जो आप इन परियोजनाओं के लिए समर्पित कर सकते हैं, आपके विकल्पों को बहुत प्रभावित करेंगे।

कुछ इंजीनियरिंग संसाधनों के साथ, आपके पास अधिक विकल्प हैं - आप एक रिलेशनल या गैर-रिलेशनल डेटाबेस पर जा सकते हैं। संबंधपरक डेटाबेस NoSQL से कम समय लेते हैं।

यदि आपके पास कई इंजीनियर हैं जो इंस्टॉलेशन पर काम कर रहे हैं, लेकिन किसी को सेवा में नहीं ला सकते हैं, तो Postgres , Google SQL (वैकल्पिक MySQL होस्टिंग) या सेगमेंट वेयरहाउस जैसी कोई चीज़ चुनें।(Redshift hosting) Redshift, Aurora या BigQuery से बेहतर विकल्प है, क्योंकि उन्हें डाटा प्रोसेसिंग में समय-समय पर सुधार की आवश्यकता होती है। यदि आपके पास सेवा के लिए अधिक समय है, तो Redshift या BigQuery को चुनना तेजी से, बड़े पैमाने पर प्रश्न प्रदान करेगा।

संबंधपरक डेटाबेस का एक और फायदा है: आप उन्हें क्वेरी करने के लिए एसक्यूएल का उपयोग कर सकते हैं। एसक्यूएल विश्लेषकों और इंजीनियरों दोनों के लिए अच्छी तरह से जाना जाता है, और अधिकांश प्रोग्रामिंग भाषाओं की तुलना में सीखना आसान है।

दूसरी ओर, अर्ध-संरचित डेटा के विश्लेषण में आमतौर पर न्यूनतम, ऑब्जेक्ट-ओरिएंटेड प्रोग्रामिंग में अनुभव, या बड़े डेटा के साथ काम करने के लिए कोड लिखने में बेहतर अनुभव की आवश्यकता होती है। हंक जैसे एनालिटिक्स टूल के आगमन के साथ भीMongoDB के लिए Hadoop या Slamdata के लिए, आपको इन प्रकार के डेटाबेस का विश्लेषण करने के लिए एक अनुभवी विश्लेषक या डेटा विशेषज्ञ की आवश्यकता होगी।

आपको इस डेटा की कितनी तेज़ आवश्यकता है?

जबकि "रीयल-टाइम एनालिटिक्स" धोखाधड़ी का पता लगाने और सिस्टम मॉनिटरिंग जैसे मामलों के लिए बहुत लोकप्रिय है, अधिकांश विश्लेषणों के लिए वास्तविक समय डेटा या तत्काल विश्लेषण की आवश्यकता नहीं होती है।

जब आप प्रश्नों का उत्तर देते हैं, उदाहरण के लिए, उपयोगकर्ताओं के बहिर्वाह के कारण क्या होते हैं या लोग आपके एप्लिकेशन से आपकी वेबसाइट पर कैसे स्विच करते हैं, आपके डेटा तक थोड़ी देरी (प्रति घंटा या दैनिक अंतराल) तक पहुंच काफी स्वीकार्य है। आपका डेटा मिनट दर मिनट नहीं बदलता है।

इसलिए, यदि आप मुख्य रूप से वास्तविक विश्लेषण पर काम कर रहे हैं, तो आपको एनालिटिक्स के लिए अनुकूलित डेटाबेस, जैसे कि रेडशिफ्ट या बिगविक का उल्लेख करना चाहिए। इस तरह के डेटाबेस को बड़ी मात्रा में डेटा को समायोजित करने और डेटा को जल्दी से पढ़ने और संयोजित करने के लिए डिज़ाइन किया गया है, जिससे प्रश्न तेजी से बनते हैं। वे डेटा को तेजी से (प्रति घंटा) डाउनलोड कर सकते हैं, जबकि कोई व्यक्ति क्लस्टर की सफाई, आकार बदलने और निगरानी करने की प्रक्रिया कर रहा है।

यदि आपको वास्तविक समय के डेटा की आवश्यकता है, तो आपको Hadoop जैसे किसी असंरचित डेटाबेस की ओर रुख करना चाहिए। आप अपने Hadoop डेटाबेस को डिज़ाइन कर सकते हैं ताकि डेटा इसमें बहुत तेज़ी से लोड हो, हालाँकि इसे क्वेरी करते हुए RAM उपयोग, उपलब्ध डिस्क स्थान और डेटा संरचना के आधार पर अधिक समय लग सकता है।

पोस्टग्रेज बनाम अमेज़न रेडशिफ्ट बनाम। गूगल का बड़ा काम

आप शायद पहले से ही महसूस कर चुके हैं कि अधिकांश प्रकार के उपयोगकर्ता व्यवहार का विश्लेषण करने के लिए एक संबंधपरक डेटाबेस सबसे अच्छा विकल्प होगा। आपके उपयोगकर्ता आपकी साइट और एप्लिकेशन के साथ कैसे सहभागिता करते हैं, इसके बारे में जानकारी आसानी से एक संरचित प्रारूप में फिट हो सकती है।

analytics.track('Completed Order') — select * from ios.completed_order

तो सवाल यह है कि कौन सा SQL डेटाबेस का उपयोग करना है? चार मानदंडों पर विचार किया जाना चाहिए।

आकार बनाम गति

जब आपको गति की आवश्यकता होती है, तो यह Postgres पर विचार करने के लायक है: 1TB से कम डेटाबेस के लिए, Postgres डेटा और क्वेरी लोड करने के लिए बहुत तेज़ है। साथ ही, यह उपलब्ध है। जैसे ही आप 6TB (Amazon RDS से विरासत में मिली) से संपर्क करेंगे, आपकी क्वेरी धीमी हो जाएगी।

इसलिए, जब आपको बड़े आकार की आवश्यकता होती है, तो हम आमतौर पर Redshift की सलाह देते हैं। हमारा अनुभव बताता है कि Redshift के पास पैसे के लिए सबसे अच्छा मूल्य है।

SQL हाइलाइट

Redshift Postgres की भिन्नता पर बनाया गया है, और दोनों अच्छे पुराने SQL का समर्थन करते हैं। Redshift सभी डेटा प्रकारों और फ़ंक्शंस का समर्थन नहीं करता है जो पोस्टग्रेट्स का समर्थन करता है, लेकिन यह BigQuery की तुलना में उद्योग मानक के बहुत करीब है, जिसकी अपनी SQL है।

कई अन्य SQL- आधारित सिस्टमों के विपरीत, BigQuery, कॉम्ब्- डॉक्युमेंट्स को इंगित करने के लिए कॉमा-अलग सिंटैक्स का उपयोग करता है, और एसक्यूएल प्रलेखन के अनुसार नहीं । इसका मतलब यह है कि सावधानी के बिना, SQL प्रश्न त्रुटियों या अप्रत्याशित परिणामों को जन्म दे सकते हैं। इसलिए, हमने जिन टीमों से मुलाकात की, उनमें से कई अपने विश्लेषकों को बिगविक एसक्यूएल सीखने के लिए मना नहीं कर सकती हैं।

तृतीय-पक्ष पारिस्थितिकी तंत्र

शायद ही कभी आपका डेटा वेयरहाउस अपने दम पर रहता है। आपको डेटा को डेटाबेस में रखने की आवश्यकता है, और इसके अलावा, आपको इसका विश्लेषण करने के लिए किसी प्रकार के सॉफ़्टवेयर का उपयोग करने की आवश्यकता है। (जब तक आप कमांड लाइन से SQL क्वेरी नहीं चलाते)।

इसलिए, लोग अक्सर यह पसंद करते हैं कि रेडशिफ्ट में तीसरे पक्ष के उपकरण का एक बहुत बड़ा पारिस्थितिकी तंत्र है। AWS के पास एनालिटिक्स API से Redshift में डेटा लोड करने के लिए सेगमेंट डेटा वेयरहाउस जैसी क्षमताएं हैं , और वे बाज़ार के लगभग सभी डेटा विज़ुअलाइज़ेशन टूल के साथ भी काम करते हैं। कम तृतीय-पक्ष सेवाएँ Google से कनेक्ट होती हैं, इसलिए बिग डेटा को उसी डेटा पर ले जाने से विकसित होने में अधिक समय लग सकता है, और आपके पास BI सॉफ़्टवेयर के लिए इतने विकल्प नहीं होंगे।

आप अमेज़ॅन भागीदारों को देख सकते हैंयहां और गूगल यहाँ ।

हालाँकि, यदि आप पहले से ही अमेज़ॅन S3 के बजाय Google क्लाउड स्टोरेज का उपयोग करते हैं, तो आपके लिए Google पारिस्थितिकी तंत्र में बने रहना फायदेमंद हो सकता है। दोनों सेवाएं डेटा को डाउनलोड करना आसान बनाती हैं यदि यह पहले से ही संगत क्लाउड स्टोरेज रिपॉजिटरी में मौजूद है, ताकि यह उपयोग की शर्तों का उल्लंघन न करे, लेकिन यदि आप इन प्रदाताओं में से किसी एक का उपयोग करना बंद कर दें तो यह बहुत आसान हो जाएगा।

प्रशिक्षण

अब आपके पास यह स्पष्ट विचार है कि किस डेटाबेस का उपयोग करना है, अगला चरण यह पता लगाना है कि आप डेटा को डेटाबेस में कैसे एकत्र करेंगे।

कई नए डेटाबेस डेवलपर्स एक स्केलेबल डेटा पाइपलाइन का निर्माण कितना मुश्किल है, इसे कम आंकते हैं। आपको अपनी निष्कर्षण परत, डेटा संग्रह API, क्वेरी और रूपांतरण परत लिखना होगा। और सभी को पैमाना है। इसके अलावा, आपको प्रत्येक स्तंभ के आकार और प्रकार के आधार पर सही लेआउट निर्धारित करने की आवश्यकता है। एमवीपी आपके उत्पादन डेटाबेस को एक नए उदाहरण के लिए दोहराता है, लेकिन इसका मतलब आमतौर पर ऐसे डेटाबेस का उपयोग करना होता है जो विश्लेषिकी के लिए अनुकूलित नहीं है।

सौभाग्य से, बाजार में कई विकल्प हैं जो आपको इनमें से कुछ बाधाओं को पार करने में मदद कर सकते हैं और स्वचालित रूप से आपके लिए एक ईटीएल कर सकते हैं।

लेकिन चाहे वह आपका अपना विकास हो या खरीदारी, SQL में डेटा प्राप्त करना इसके लायक है।

प्रारंभिक उपयोगकर्ता डेटा के आधार पर, केवल एक लचीले एसक्यूएल प्रारूप की मदद से आप अपने ग्राहकों के लिए क्या कर रहे हैं, इस बारे में विस्तार से सवालों के जवाब दे पाएंगे, वितरण का सही आकलन कर सकते हैं, क्रॉस-प्लेटफॉर्म व्यवहार को समझ सकते हैं, किसी विशेष कंपनी के लिए डैशबोर्ड बना सकते हैं, और भी बहुत कुछ।

एनालिटिक्स के लिए एक डेटाबेस चुनना