हमें ML डेटा के क्षेत्र में DevOps की आवश्यकता क्यों है

उस समय को याद करें जब सॉफ्टवेयर रिलीज लंबा और दर्दनाक था?

• प्रोग्रामर शुरू से आखिर तक अपना कोड रखते हैं। वे उत्पादन में कोड की प्रत्येक पंक्ति के लिए सशक्त और पूरी तरह से जिम्मेदार हैं। स्वामित्व की यह भावना आम तौर पर कोड की गुणवत्ता, साथ ही कार्यक्रमों की उपलब्धता और विश्वसनीयता में सुधार करती है।
• टीमें जल्दी से प्रक्रियाओं को दोहराने में सक्षम हैं और कैस्केड मॉडल के महीनों-लंबे चक्रों द्वारा विवश नहीं हैं। इसके बजाय, वे लगभग तुरंत ही वास्तविक उपयोगकर्ताओं के साथ नई सुविधाओं का परीक्षण करने में सक्षम हैं।
• प्रदर्शन और विश्वसनीयता के मुद्दों का तेजी से पता लगाया जाता है और उनका विश्लेषण किया जाता है। यदि अंतिम परिनियोजन के तुरंत बाद प्रदर्शन मेट्रिक्स गिर जाते हैं, तो स्वचालित रोलबैक चालू हो जाता है, और कोड में परिनियोजन के कारण होने वाले परिवर्तनों के कारण मेट्रिक्स के गिरने की संभावना होती है।

... सामान्य तौर पर, एमएल की तैनाती अभी भी लंबी और दर्दनाक है

• स्रोत डेटा तक खोज और पहुंच। अधिकांश कंपनियों के डेटा विज्ञान विशेषज्ञ अपनी समस्या को मॉडल करने के लिए स्रोत डेटा की खोज में अपना 80% समय तक खर्च करते हैं । इसके लिए अक्सर डेटा इंजीनियरों और नियामक टीम के साथ क्रॉस-फंक्शनल समन्वय की आवश्यकता होती है।
• . , . , , .
• . . ( ).
• मॉडल की तैनाती और एकीकरण। इस कदम में आमतौर पर एक सेवा के साथ एकीकरण शामिल होता है जो पूर्वानुमान के लिए मॉडल का उपयोग करता है। उदाहरण के लिए, एक ऑनलाइन रिटेलर का मोबाइल एप्लिकेशन जो उत्पाद ऑफ़र की भविष्यवाणी करने के लिए एक सिफारिश मॉडल का उपयोग करता है।
• मॉनिटरिंग सेटअप। एक बार फिर, यह सुनिश्चित करने के लिए कि एमएल मॉडल और डेटा प्रक्रियाएं सही ढंग से काम करती हैं, प्रोग्रामर की मदद की आवश्यकता है।

• डेटा विज्ञान विशेषज्ञों के पास मॉडल और कार्यक्षमता के जीवन चक्र का पूर्ण स्वामित्व नहीं है । अपने संपादन को तैनात करने और उत्पादन में उनका समर्थन करने के लिए, उन्हें दूसरों पर निर्भर रहना होगा।
• data science . . . , , data science, , , , , .

• . data science, . , , , .

DevOps ML . DevOps ML data

• सही स्रोत डेटा स्रोतों तक पहुंच
• स्रोत डेटा से कार्य और लेबल बनाना
• प्रशिक्षण डेटा में कार्यों का संयोजन
• उत्पादन में कार्यों की गणना और जारी करना
• उत्पादन ट्रैकिंग

टेस्ट डेट # 1: राइट सोर्स डेटा एक्सेस करना

• डेटा डिस्कवरी: पेशेवर को यह जानना होगा कि स्रोत डेटा कहां है। एक महान समाधान डेटा कैटलॉगिंग सिस्टम (जैसे कि Lyft`s Amundsen ) है, लेकिन वे अभी तक सार्वभौमिक रूप से उपयोग नहीं किए गए हैं। अक्सर आवश्यक डेटा बस मौजूद नहीं होता है और इसलिए पहले इसे बनाया या सूचीबद्ध किया जाना चाहिए ।
• पहुँच की स्वीकृति: अक्सर समस्याओं के समाधान के लिए डेटा तक पहुँचने की अनुमति प्राप्त करने के लिए अधिकारियों के बीच भागदौड़ करना डेटा विज्ञान विशेषज्ञों के मार्ग पर एक अनिवार्य कदम है।
• : , , . , .

- #2:

• ( Snowflake Redshift) ( ). , , « ».
• ( MongoDB MySQL) . , 24 .
• ( Kafka) ( ). . , « 30 ».
• भविष्यवाणी क्वेरी डेटा उन घटनाओं का प्रारंभिक डेटा है जो एमएल पूर्वानुमान किए जाने से ठीक पहले वास्तविक समय में होते हैं, उदाहरण के लिए, खोज पट्टी में उपयोगकर्ता द्वारा दर्ज की गई क्वेरी। यहां तक ​​कि अगर ऐसा डेटा सीमित है, तो यह अक्सर "ताजा" होता है जितना संभव हो और आसानी से अनुमानित संकेत होता है। इस तरह का डेटा एक भविष्यवाणी अनुरोध के साथ आता है और इसका उपयोग वास्तविक समय की गणनाओं में किया जा सकता है जैसे कि उपयोगकर्ता की खोज क्वेरी और दस्तावेज़ों के बीच एक खोज सरणी में समानता अनुमानों की खोज करना।

परीक्षण तिथि # 3: प्रशिक्षण डेटा में कार्यों का संयोजन

• डेटा रिसाव: डेटा विज्ञान विशेषज्ञों को यह सुनिश्चित करने की आवश्यकता है कि उनका मॉडल सही जानकारी पर प्रशिक्षित है औरप्रशिक्षण डेटा में अवांछित जानकारी के "रिसाव" की अनुमति नहीं देता है। इस तरह के डेटा हो सकते हैं: एक परीक्षण सूट से डेटा, जमीनी सच्चाई से डेटा, भविष्य से डेटा, या महत्वपूर्ण तैयारी प्रक्रियाओं का उल्लंघन करने वाली जानकारी (उदाहरण के लिए, बेनामीकरण)।
• : — . ( ). , data science , .

- #4:

• : ( ) , . Null? ? . .

• ́ : - ( ). , , , . , , . — , , , .

परीक्षण दिनांक # 5: उत्पादन पर नज़र रखने की सुविधाएँ

• : , , . , , . , .
• : , . , , (, ), .
• : . , (, , ) .
• डेटा गुणवत्ता के लिए अस्पष्ट जिम्मेदारी: उस मामले में जहां फ़ंक्शंस कई अलग-अलग वितरण स्रोतों से स्रोत डेटा प्राप्त कर सकते हैं, आखिरकार फ़ंक्शन की गुणवत्ता के लिए कौन जिम्मेदार है? डेटा-विज्ञान विशेषज्ञ किसने कार्य किया? डेटा-विज्ञान विशेषज्ञ किसने मॉडल को प्रशिक्षित किया? डेटा फीड चैनल का मालिक? प्रोग्रामर जिसने उत्पादन में मॉडल के एकीकरण को अंजाम दिया? ऐसे मामलों में जहां जिम्मेदारियां अस्पष्ट हैं, समस्याएं बहुत लंबे समय तक अनसुलझी रहती हैं।

पेश है टेक्टन: ए डेट मशीन लर्निंग प्लेटफॉर्म

1. फ़ंक्शन स्रोत और लेबल में अपने स्रोत डेटा को चालू करने की प्रक्रिया
2. संग्रहीत कार्य और टैग डेटा संग्रहीत करने के लिए फ़ंक्शन रिपॉजिटरी
3. उत्पादन के लिए नवीनतम फ़ंक्शन मान जारी करने के लिए फ़ंक्शन सर्वर
4. प्रशिक्षण डेटा और फ़ंक्शन प्रक्रियाओं के हेरफेर के लिए एसडीके
5. वेब यूआई की निगरानी और सुविधाओं, लेबल और डेटासेट को ट्रैक करने के लिए
6. डेटा गुणवत्ता या बहाव समस्याओं और अलर्ट के निर्धारण के लिए निगरानी इंजन

• योजना: टेक्रॉन सुविधाओं को एक केंद्रीय भंडार में संग्रहीत किया जाता है। यह डेटा विज्ञान विशेषज्ञों को एक-दूसरे के मजदूरों को साझा करने, खोजने और उपयोग करने की अनुमति देता है।
• कोड: टेक्टॉन उपयोगकर्ताओं को सरल और लचीली फ़ंक्शन परिवर्तन प्रक्रियाओं को सेट करने की अनुमति देता है।
• बिल्ड: टेक्टॉन उच्च प्रदर्शन डेटा प्रसंस्करण कार्यों में कार्यों को संकलित करता है।
• परीक्षण: टेक्टन कार्यों के कार्यात्मक और एकीकरण परीक्षण का समर्थन करता है।
• रिलीज: टेक्टॉन गिट के साथ कसकर एकीकृत करता है। सभी फ़ंक्शन विवरण में संस्करण नियंत्रण होता है और पुन: पेश करना आसान होता है।
• : Tecton ( Spark). Tecron.
• : Tecton data science , .
• : Tecton .