👅 👩🏼‍🤝‍👩🏻 🏐 तंत्रिका नेटवर्क और प्रक्रिया खनन: दोस्त बनाने की कोशिश कर रहा है 👵🏻 🗞️ 🖖🏼

प्रोसेस माइनिंग एक डेटा विश्लेषण क्षेत्र है जो आपको सूचना प्रणाली के लॉग के आधार पर प्रक्रियाओं का विश्लेषण करने की अनुमति देता है। चूंकि इस क्षेत्र में मशीन सीखने के उपयोग के विषय पर बहुत कम प्रकाशन हैं, इसलिए हमने प्रक्रिया-उन्मुख समस्याओं को हल करने के लिए भविष्य कहनेवाला मॉडल विकसित करने में अपने अनुभव को साझा करने का निर्णय लिया। वीटीबी कार्यक्रम के भाग के रूप में, आईटी पेशेवरों की शुरुआत के लिए एक आईटी जूनियर, प्रोसेस माइनिंग टीम के प्रशिक्षुओं ने बैंक प्रक्रियाओं पर शोध करने के कार्यों के संदर्भ में मशीन सीखने के तरीकों का परीक्षण किया। कटौती के तहत, हम इस बारे में बात करेंगे कि हमें कब और कैसे इस तरह की समस्याओं को हल करने का विचार था, हमने क्या किया और हमें क्या परिणाम मिला।

आईटी जूनियर प्रोग्राम VTB बैंक में शुरुआती आईटी पेशेवरों के लिए एक वार्षिक इंटर्नशिप कार्यक्रम है, जो पहली बार सितंबर 2019 में शुरू हुआ था। इंटर्नशिप छह महीने तक चलती है। 2019 कार्यक्रम के परिणामों के अनुसार, आधे से अधिक प्रशिक्षु कर्मचारियों में शामिल हो गए और कंपनी के कर्मचारी बन गए। कार्यक्रम के बारे में अधिक जानकारी, चयन की शुरुआत और उम्मीदवारों के लिए आवश्यकताओं को यहां पाया जा सकता है । इस तरह से इस कार्यक्रम के प्रशिक्षुओं ने बैंक के कार्यों से संपर्क किया।

शास्त्रीय समन्वय प्रणाली में, प्रक्रिया को समझने और औपचारिक रूप देने के लिए, यह आवश्यक है:

कर्मचारियों के साथ एक साक्षात्कार आयोजित करना;
उपलब्ध रिपोर्ट और प्रलेखन का विश्लेषण करें।

प्रोसेस माइनिंग दृष्टिकोण में, एक डिजिटल प्रोसेस मॉडल का निर्माण प्रक्रिया के प्रतिभागियों की न केवल विशेषज्ञ राय के आधार पर होता है, बल्कि सूचना प्रणाली के लिए प्रासंगिक डेटा भी होता है।

नतीजतन, हमें प्रक्रिया का एक उद्देश्य डिजिटल मॉडल मिलता है, जो प्रक्रिया के आईटी सिस्टम में वास्तविक डेटा के आंदोलन का प्रतिबिंब है। परिणामस्वरूप मॉडल वास्तविक समय में काम करता है और आपको आवश्यक डिग्री के विस्तार के साथ प्रक्रिया की वर्तमान स्थिति प्रदर्शित करने की अनुमति देता है।

हमारे पिछले लेख मेंहमने अपने प्रोसेस माइनिंग प्लेटफॉर्म और बैंक के वास्तविक कार्यों के बारे में बात की, जो इसकी मदद से हल किए गए हैं। कार्यान्वित समाधान ने हमें सरकारी एजेंसियों को अनिवार्य रिपोर्ट तैयार करने के लिए आवश्यक समय को काफी कम करने की अनुमति दी, और काम में खरीद की वर्तमान स्थिति की दैनिक प्रस्तुति स्थापित करने के लिए, प्रक्रिया की खामियों को पहचानने और अनुकूलित करने में भी मदद की।

इसके बाद, हमारे ग्राहकों को न केवल गुणात्मक रूप से प्रक्रिया की वर्तमान स्थिति का निर्धारण करने की आवश्यकता थी, बल्कि इसकी भविष्य की स्थितियों की भविष्यवाणी करने के लिए भी।

अगला, हम चरण-दर-चरण का वर्णन करेंगे कि कैसे हमने उच्च-प्रदर्शन DGX स्टेशन का उपयोग करके अच्छी तरह से ज्ञात घटनाओं के एक सेट का उपयोग करके खरीद प्रक्रिया की अवधि (बीपीआई चैलेंज 2019 डेटासेट का उपयोग करके एक उदाहरण के रूप में) की भविष्यवाणी की समस्या को हल किया, कृपया हमें अनुसंधान के लिए NVIDIA प्रदान करें।

प्रक्रिया खनन के लिए मशीन लर्निंग एप्लीकेशन

समस्या को हल करने के लिए, हमने CatBoostRegressor का उपयोग करके एक आधार रेखा का निर्माण किया, और फिर एक तंत्रिका नेटवर्क के साथ एक समाधान विकसित किया और श्रेणीबद्ध चर को एम्बेड किया।
स्रोत डेटा में श्रेणीबद्ध और भौतिक विशेषताओं की उपस्थिति के कारण, बूस्टिंग का उपयोग करने का निर्णय लिया गया था, जो कोडिंग के बिना श्रेणीबद्ध विशेषताओं को संसाधित कर सकता है, और एक असतत और सामग्री इनपुट पर समस्या को भी हल कर सकता है।

जाल का उपयोग पूरी तरह से भौतिक विशेषताओं का निर्माण करने और संपूर्ण सामग्री इनपुट पर समस्या को हल करने के लिए किया गया था, और फिर इन दो दृष्टिकोणों की तुलना करें और तय करें कि जाल के साथ परेशान करना है या नहीं।

डेटा विवरण

यह बाहरी डेटा का उपयोग करने का निर्णय लिया गया था जो व्यवसाय क्षेत्र में हमारे अनुरूप होगा और विशेषताओं के समान सेट के अधिकारी होंगे। प्रयुक्त BPI चैलेंज 2019 डेटासेट में 250 हज़ार मामले शामिल हैं - यह 1.5 मिलियन ईवेंट है। प्रारंभिक आंकड़ों को 21 संकेतों के सेट द्वारा वर्णित किया गया है: 18 श्रेणीबद्ध (सूचकांक के संकेत हैं), दो बूलियन और एक वास्तविक। खरीद प्रक्रिया के निष्पादन समय को लक्ष्य चर के रूप में चुना गया था, जो व्यवसाय की वास्तविक जरूरतों के अनुरूप था। विशेषताओं के विस्तृत विवरण के लिए, आप डेटासेट के विवरण का उल्लेख कर सकते हैं ।

बेसलाइन

मॉडल प्रशिक्षण से पहले, डेटा को 0.8 (0.2) के अनुपात में प्रशिक्षण (ट्रेन) और परीक्षण (परीक्षण) के नमूनों में विभाजित किया गया था। इसके अलावा, विभाजन घटनाओं के अनुसार नहीं हुआ, बल्कि मामलों के अनुसार हुआ।

यह निर्धारित करने के लिए कि तंत्रिका नेटवर्क के रूप में एक जटिल मालिकाना समाधान का उपयोग करना कितना उचित है, बेसलाइन को कैटबॉस्ट का उपयोग करके बनाया गया था, जो निर्णय पेड़ों पर ग्रेडिएंट बूस्टिंग का एक उन्नत पुस्तकालय है। बेसलाइन बनाने के लिए, न्यूनतम डेटा प्रीप्रोसेसिंग किया गया था (डेटा में संबंधित आवृत्ति के साथ श्रेणीबद्ध विशेषताओं का कोडिंग), एक लक्ष्य चर (केस अवधि) और कई नई सुविधाओं को विकसित किया गया था (जो मूल डेटासेट में पहले से ही थे)

. , : , , , , , .
Exponential Moving Average . EMA , .
(, , ).

प्रशिक्षण सेट में CatBoostRegressor को प्रशिक्षित करने के बाद, हमें निम्न परिणाम मिला: MAE (मीन एब्सोल्यूट एरर) = 17.5 दिन (अर्थात, अनुमानित लक्ष्य चर का मान औसत मान से 17.5 दिन अलग है)। इस परिणाम का उपयोग तंत्रिका नेटवर्क की प्रभावशीलता का परीक्षण करने के लिए किया गया था।

यहाँ एक महत्वपूर्ण विवरण आधार रेखा के लिए लक्ष्य चर का विकास है।

हमारे पास एक मामला है। हम इसे C_ से सेट C (हमारे डेटासेट में सभी मामलों का सेट) से दर्शाते हैं। प्रत्येक मामला घटनाओं का एक क्रमबद्ध क्रम है, अर्थात् c_i = (e_0, ..., e_ni), जहां नी ith मामले की लंबाई है। प्रत्येक घटना के लिए, हमारे पास एक समय टिकट है - ठीक उसी समय जब यह शुरू हुआ था। इन अस्थायी टिकटों का उपयोग करके, आप अंतिम घटना के बिना मामले की अवधि की गणना कर सकते हैं। हालांकि, प्रत्येक घटना के लिए इस तरह के लक्ष्य को असाइन करना, यानी, पत्राचार ek, ci, ek → ti (ti ith मामले की अवधि है) बनाना, बहुत अच्छा नहीं है। सबसे पहले, अलग-अलग अवधि के मामलों में समान घटनाएं (विशिष्ट) हो सकती हैं। दूसरी बात, हम घटनाओं के एक निश्चित बाद (आदेश में समय) से मामले की अवधि की भविष्यवाणी करना चाहते हैं (यह इस तथ्य से प्रेरित है कि हम घटनाओं के पूरे अनुक्रम को नहीं जानते हैं, अर्थात हम मामले से पहले नहीं जानते हैं।यह कैसे हुआ, लेकिन हम इस मामले की कुछ ज्ञात (घटित) घटनाओं के अनुसार पूरे मामले की अवधि का आकलन करना चाहते हैं।

इसलिए, हमें प्रत्येक मामले को समय-क्रम की घटनाओं की लंबाई से एक के बाद के मामलों में तोड़ने की आवश्यकता है और उस मामले की अवधि के बराबर एक लक्ष्य चर असाइन करना है, जहां से ये परिणाम प्राप्त होते हैं, अर्थात्, पत्राचार ci ∈ C, ci → {sub_cj} ni (ni) पहले की तरह, ith मामले की लंबाई), j = 1 और len (sub_cj) = j।

इस प्रकार, हम प्रत्येक मामले को बाद में तोड़ देते हैं और पूरे मामले की अवधि को प्रत्येक ऐसे बाद में निर्दिष्ट करते हैं।

बाद के बारे में अधिक जानकारी

जैसा कि पहले उल्लेख किया गया है, हम मामले को बाद में तोड़ते हैं और उनमें से प्रत्येक को मामले की अवधि असाइन करते हैं। हम बूस्टिंग का उपयोग करने जा रहे हैं जो इनपुट डेटा के आकार के लिए सटीक है। तो अब हमारे पास X = {{sub_c ^{k है}_i } ⁿⁱ _{k = 1} } _{t = 1 N} , sub_c _ik , i-th केस की k-th परवर्तीता है, t _i , i-th केस की लंबाई है, N मामलों की संख्या है। यही है, आयाम [ _t^N _{t = 1} n _i , sc, 17], sc इसी मामले के बाद की लंबाई के बराबर एक चर है।

उनकी आवृत्ति द्वारा श्रेणीबद्ध चर को कोड करने के बाद, हमारे पास वास्तविक और बूलियन चर हैं, साथ ही कोडित श्रेणीबद्ध भी हैं (सूचकांक चर का उपयोग सीखने की प्रक्रिया में नहीं किया जाएगा)। हम बाद में औसत मूल्यों को भी औसत कर सकते हैं, जबकि स्पष्ट विशेषताओं में हमें श्रेणीबद्ध मूल्यों के होने की औसत आवृत्ति प्राप्त होती है, जिसे किसी मामले में घटनाओं के सबसेट के एकत्रीकरण का वर्णन करने वाली विशेषता के रूप में भी माना जा सकता है, अर्थात् एक बाद का वर्णन करने वाली विशेषता के रूप में। इसे छोड़ दें और देखें कि क्या होता है।

आयाम पर औसत sc के बाद, हम निम्नलिखित आयाम प्राप्त करते हैं: [ ₌^N _{t = 1} n _i , 17]।

प्रतिरूप निर्माण

मामलों के आधार पर, हम ट्रेन को एक अन्य ट्रेन और एक सत्यापन नमूने में विभाजित करते हैं, डिफ़ॉल्ट मापदंडों के साथ एक कैटबॉस्ट रेज़र लेते हैं, इसे एक प्रशिक्षण नमूना पास करते हैं, एक सत्यापन नमूने पर मान्य करते हैं, सबसे अच्छा पुनरावृत्ति लेते हैं, एक सत्यापन मीट्रिक के रूप में एमएई का उपयोग करते हैं। हम परीक्षण पर निम्नलिखित (नीचे दिए गए चित्र में) प्राप्त करते हैं (हम अलग से उसी पाइपलाइन के लिए परीक्षण तैयार करते हैं जिस पर ट्रेन का निर्माण किया गया था। सभी संकेत उस डेटा पर आधारित होते हैं जो परीक्षण में होता है, अर्थात, हमारे पास कोई भी संकेत नहीं है जो लक्ष्य चर पर केंद्रित है। एकमात्र चेतावनी: यदि परीक्षण में स्पष्ट विशेषताएं उस मूल्य को पूरा नहीं करती हैं जो हमने ट्रेन में देखा था, तो हम परीक्षण पर इस मूल्य की आवृत्ति पर विचार करते हैं और एन्कोडिंग के लिए शब्दकोश अपडेट करते हैं)।

आधारभूत परिणाम

• Iterations: 500.
• सीखने की दर: 0.1।

प्रशिक्षण पैरामीटर:

• प्रशिक्षण का समय: 2 मिनट से कम।
• लोहा: टेस्ला k80 (कोलाब से)।

परिणाम:

• टेस्ट एमएई: 17.5 दिन।
• परीक्षण में मामले की औसत अवधि: 66.3 दिन।

तंत्रिका नेटवर्क

सेट अप

तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए, डेटा में सुधार किया गया था: श्रेणीबद्ध चर के लिए एम्बेडिंग बनाए गए थे, और लक्ष्य चर का वितरण समायोजित किया गया था। इसके बाद, तंत्रिका नेटवर्क को NVIDIA Tesla K80 (Google Colab) और NVIDIA DGX स्टेशन पर प्रशिक्षित किया गया था।

अग्रांकित परिणाम प्राप्त किए गए थे:

NVIDIA K80 (Google Colab) पर प्रशिक्षण का समय: 20 मिनट।
NVIDIA DGX स्टेशन पर प्रशिक्षण का समय: 8 मिनट।

तंत्रिका नेटवर्क का प्रशिक्षण समय उपयोग किए जाने वाले जीपीयू की तकनीकी विशेषताओं में अंतर के कारण है:

NVIDIA Tesla K80 (Google Colab)	NVIDIA DGX स्टेशन
1X NVIDIA टेस्ला K80 12GB	4X NVIDIA टेस्ला V100 32GB

preprocessing

नए संकेत

ईएमए घटना के मूल्य पर: हम प्रत्येक मामले के लिए गतिविधियों की लागत में प्रवृत्ति को पकड़ना चाहते हैं।
दोष का प्रकार: डेटासेट विवरण में आप खरीद (घटना) के कुछ वर्णनात्मक आंकड़ों के बारे में चार प्रकार की जानकारी पा सकते हैं - ये प्रकार मूल डेटासेट में दो चर के मूल्यों में विभाजित हैं। हम इसे वापस एकत्र करते हैं (यदि आप डेटासेट के विवरण को देखते हैं, तो यह स्पष्ट होगा कि हम किस बारे में बात कर रहे हैं)।

श्रेणीबद्ध संकेत हम

केवल क्रम में प्राकृतिक संख्याओं के साथ श्रेणीबद्ध संकेतों के अनूठे मूल्यों को कूटबद्ध करते हैं, ताकि बाद में हम एम्बेडिंग सिखा सकें।

श्रेणीगत चर के लिए एम्बेडिंग

हम प्रत्येक श्रेणीगत चर के लिए एम्बेडिंग के आयाम का निर्धारण करते हैं:

, ̆ ̆ ̆. ̆ , ̆ ̆ , ̆, . : MUi = min(CAT_EMBEDDING_DIM; (len(uniquei) + 1) // 2), CAT_EMBEDDING_DIM — , uniquei — i- .
, 3, i-̆ ̆ max(3;MUi)+1, 1, , train, unk-.

हम ट्रेन के नमूने पर लक्ष्य के वितरण को समायोजित करते हैं।

प्रारंभिक वितरण आउटलेर्स (250 हजार दिनों तक चलने वाले मामलों) और बड़ी संख्या में छोटे मामलों के कारण बाईं ओर बहुत अधिक स्थानांतरित हो गया है, इसलिए हम 0.05 और 0.953 बच्चों को गिनते हैं और ट्रेन से लक्ष्य के बीच डेटा छोड़ते हैं इन रैपिड्स।

उसके बाद, हमारे पास अभी भी ऐसे मामले हैं जो लगभग एक और लगभग 100 दिनों तक चलते हैं, अर्थात लक्ष्य चर परिमाण के कई आदेशों से गुजरता है। इसलिए, निर्णय एल्गोरिथ्म के चारों ओर लक्ष्य चर के वितरण में विचरण स्थिर है, यह धारणा शायद ही पूरी हो, यानी लक्ष्य चर का वितरण सामान्य के करीब है, लेकिन विचरण इस तथ्य के कारण स्थिर नहीं है कि लक्ष्य चर 1 से कम या 100 से अधिक हो सकता है। इसलिए, कम से कम किसी भी तरह से यह प्रभाव, हम डेटा को सामान्य करते हैं।

परिणाम नीचे ग्राफ में दिखाया गया है (काली रेखा सामान्य वितरण है)।

फिर हम अपने डेटा को ट्रेन और सत्यापन में विभाजित करते हैं। यहाँ भी एक स्पष्ट बारीकियों है: हम औसत और विचलन के साथ लक्ष्य को सामान्य करते हैं, सभी आंकड़ों के अनुसार गणना की जाती है, और फिर ट्रेन और सत्यापन द्वारा विभाजित किया जाता है, अर्थात, यह ट्रेन में एक चेहरे की तरह निकलता है, लेकिन जब से हम यहां एक सहायक समस्या को हल करते हैं, तो यह चेहरा प्रतीत नहीं होता है नाजुक।

भवन का चिन्ह

विचार

हम अपनी ट्रेन से केवल सांकेतिक संकेत लेते हैं, जो प्राकृतिक संख्याओं से घिरा हुआ है।
हम मामलों से सबस्ट्रिंग नहीं लेते हैं, लेकिन बस घटनाओं, यानी, एम्बेडिंग के लिए हमारे डेटा में एक लाइन - यह एक कोडेड श्रेणीबद्ध विशेषताओं की विशेषता है।
: , ̆, , , , ̆ ̆ ̆. - , ̆, , , ̆ ( ), ( , - ̆ ).
̆ .
, 8-̆̆ elu ̆, ( , , , L2-) .
, , — , , .
Summary: — ̆ ̆ ̆ ̆ — ̆.

Batch size = 1000
Learning rate = 3e-04.
= 15.
: Tesla k80 (colab) + Nvidia DGX Station .
(colab) – 50 .
(Nvidia DGX Station) — 18 .

डेटा की तैयारी

अब हमारे पास श्रेणीबद्ध चर के लिए एम्बेडिंग है (यहाँ एक बारीकता है: हमने ईमानदारी से अपनी ट्रेन पर श्रेणीबद्ध चर के अनूठे मूल्यों को लिया है (न कि हम जिसे हम प्रशिक्षण एम्बेडिंग के लिए आवंटित करते हैं, लेकिन हम उसी के लिए बहुत शुरुआत में आवंटित किए गए हैं) प्रशिक्षण), इसलिए एक मौका है कि परीक्षण डेटा पर श्रेणीबद्ध चर का एक मूल्य होगा जो हमने ट्रेन पर नहीं देखा था, अर्थात, हमारे पास इस मूल्य के लिए प्रशिक्षित एम्बेडिंग नहीं है।

ऐसे मूल्यों के लिए, एम्बेडिंग मैट्रिसेस में एक अलग लाइन बनाई जाती है, लेकिन हमारे मामले में समस्या यह है कि प्रशिक्षण के दौरान यह शामिल नहीं है, और इसलिए अध्ययन नहीं करता है। इसके आधार पर, यदि हम एक ऐसे श्रेणीगत चर के मान को पूरा करते हैं जो पहले नहीं देखा गया था, तो हम इस वेक्टर को लेते हैं, लेकिन वास्तव में यह केवल प्रारंभिक वितरण से लिया गया है।

इस वेक्टर को कैसे प्रशिक्षित किया जाए, मॉडल में सुधार के लिए एक दिशा है। विचार यह है कि ट्रेन में बहुत दुर्लभ मानों को इस वेक्टर के साथ एन्कोड किया जा सकता है, क्योंकि यदि हम केवल परीक्षण में एक नया मान देखते हैं, जो सशर्त रूप से पूरे प्रारंभिक नमूने का 20% बनाता है, तो यह मान दुर्लभ है और शायद व्यवहार करता है ट्रेन में दुर्लभ मान।

प्रत्येक घटना में, हम श्रेणीबद्ध वेरिएबल्स को संबंधित एम्बेडिंग के साथ बदल देते हैं, वास्तविक और बूलियन विशेषताओं के साथ जुड़ते हैं, हम आकार का एक मैट्रिक्स प्राप्त करते हैं [N, F], जहां F श्रेणीबद्ध आयामों के लिए एम्बेड के आयामों का योग है, वास्तविक और बुलियन विशेषताओं की संख्या।

हम एक बाद में घटनाओं का एक समूहन करते हैं (जैसा कि पहले किया गया है)। बाद के लिए लक्ष्य चर उस मामले की अवधि है, जिससे बाद में प्राप्त किया गया था। घटनाओं की संख्या और घटनाओं की लागतों के योग को इसके बाद के सदिश में जोड़ें।

अब हमारे पास एक निश्चित आकार का एक मैट्रिक्स है - आप मॉडल में फ़ीड कर सकते हैं (इससे पहले कि हम मैट्रिक्स को सामान्य करें)।

समांतर विधि

हम प्रत्येक जीपीयू के लिए एक टॉवर बनाते हैं।
प्रत्येक चरण पर, हम टावरों के बीच के मापदंडों को विभाजित करते हैं।
.
̆ , .
( , ̆ ̆ ).
.
, - ( , word2vec-style, ).

() () ().
̆ : — , gpu , , gpu .

: 7-̆̆ elu.
̆ , .
Batch size = 1000.
Learning rate = 3e-04.
= 15.
: Tesla k80 (colab) + Nvidia DGX Station.
(colab) = 20 .
(Nvidia DGX Station) = 8 .

मॉडल ग्राफ का एक टुकड़ा।

संसाधनों और समानांतर का उपयोग।

एक सीपीयू पर तंत्रिका नेटवर्क प्रशिक्षण एक NVIDIA DGX स्टेशन पर लगभग चार गुना अधिक समय लेता है। इस मामले में, अंतर महत्वहीन लगता है - NVIDIA DGX स्टेशन पर आठ मिनट और सीपीयू पर 32 मिनट। हालांकि, यह एक छोटा मॉडल है जिसमें थोड़ी मात्रा में डेटा है। वास्तविक परियोजनाओं को लागू करते समय, जहां कई गुना अधिक मामले और घटनाएं होंगी, सीपीयू पर प्रशिक्षण में कम से कम एक सप्ताह लगेगा। इस मामले में, NVIDIA DGX स्टेशन के उपयोग से प्रशिक्षण का समय दो दिन तक कम हो जाएगा, जिससे कार्य क्षमता में काफी वृद्धि होगी।

यह भी पता चला कि सीखने की प्रक्रिया की गति उपयोग किए जाने वाले GPU की संख्या पर अत्यधिक निर्भर है, जो कि NVIDIA DGX स्टेशन का लाभ दिखाता है।

यह NVIDIA DGX स्टेशन सीपीयू और जीपीयू पर पिछले प्रयोगों द्वारा बिना किसी प्रारंभिक प्रसंस्करण के मूल डेटा सेट का उपयोग करने की पुष्टि करता है:

सीपीयू पर सीखने का समय: 6 मिनट 18 सेकंड।
GPU प्रशिक्षण समय: 34 सेकंड।

GPU

लोड विज़ुअलाइज़ेशन CPU लोड विज़ुअलाइज़ेशन

तंत्रिका नेटवर्क परिणाम

टेस्ट MAE = 10 दिन।
परीक्षण पर मामले की औसत अवधि = 67 दिन।
इंजेक्शन समय = 20 सेकंड।

जाँच - परिणाम

हमने प्रक्रिया खनन कार्यों के संदर्भ में मशीन सीखने के तरीकों का मूल्यांकन करने के लिए एक पायलट को लागू किया।
हमने अपने उपकरणों की सूची का परीक्षण और विस्तार किया है जिसके साथ हम उन समस्याओं का समाधान करेंगे जो व्यापार के लिए महत्वपूर्ण हैं।
दिलचस्प परिणामों में से एक 4 टेस्ला v100 कार्डों पर समानांतर कंप्यूटिंग के हमारे अपने कार्यान्वयन का लेखन था, जो DGX स्टेशन से लैस हैं: कई gpu का उपयोग gpu की संख्या से लगभग सीखने में तेजी लाता है (कोड समानांतर है)।
एक पूरी तरह से निरंतर प्रविष्टि में संक्रमण और एक तंत्रिका नेटवर्क के उपयोग ने बेसलाइन से एक सप्ताह का समय लेना संभव बना दिया।
समय कुछ मिनटों से एक घंटे और आधा हो जाता है (अंतिम वास्तुकला और एम्बेडिंग में प्रशिक्षण, लेकिन एम्बेडिंग का उपयोग पूर्व-प्रशिक्षित किया जा सकता है, इसलिए समय 20 मिनट तक कम हो जाता है)।

वर्णित प्रयोगों से पता चलता है कि प्रोसेस माइनिंग, मशीन और डीप लर्निंग एल्गोरिदम के क्षेत्र में सफलतापूर्वक लागू किया जा सकता है। इसके अलावा, यह पता चला था कि सीखने की प्रक्रिया की गति उपयोग किए जाने वाले GPU की संख्या पर बहुत निर्भर करती है, जो कि NVIDIA DGX स्टेशन का लाभ दिखाता है।

क्या और कैसे सुधार किया जा सकता है

घटनाओं के लिए Word2vec- शैली एम्बेडिंग

जब हमने अपना मॉडल बनाया, जिसमें श्रेणीबद्ध चर के लिए एम्बेडिंग भी शामिल है, तो हमने एक दूसरे के सापेक्ष घटनाओं के अनुक्रम को ध्यान में नहीं रखा, अर्थात्, मामलों के बिना घटनाओं का अजीब अर्थ। मामलों के अंदर घटनाओं के क्रम से कुछ उपयोगी सीखने के लिए, आपको इन घटनाओं के लिए एम्बेडिंग को प्रशिक्षित करने की आवश्यकता है।

विचार

हम एक श्रेणीगत सुविधा लेते हैं और एक वास्तविक, असली को बाल्टी से विभाजित करते हैं, फिर प्रत्येक लेनदेन को श्रेणीगत चर के मूल्य और बाल्टी में वास्तविक चर के मूल्य की विशेषता होगी। इन दो मूल्यों को मिलाएं, तो हम प्राप्त करते हैं, जैसा कि घटना के लिए शब्द का एक एनालॉग था।
हम मामले को एक वाक्य मानते हैं (वाक्य में शब्दों का सेट मामले में घटनाओं के सेट से मेल खाता है)।
̆ , ̆ ̆, , .
̆, Skipgram CBOW .
, ̆, .

Skipgram.
— 5.

Batch size = 1000.
Learning rate = 3e-04.
= 10.
: Tesla k80 (colab) + Nvidia DGX Station.
(colab) — 20 .
(Nvidia DGX Station) — 8 .
Test MAE : 10 ̆.

गणना

एम्बेडिंग से सुविधाओं का उपयोग करते हुए एक दिन के दसियों की एक जोड़ी की वृद्धि देता है।

आखिरकार

एंबेडिंग, निश्चित रूप से, अशिक्षित थे, क्योंकि वे थोड़ा प्रशिक्षित थे।
श्रेणीबद्ध एम्बेडिंग से लगभग 290 सुविधाएँ हैं, और शब्दार्थ एम्बेडिंग से 20 विशेषताएं हैं (इसका कोई मतलब नहीं है क्योंकि शब्दकोश का आकार छोटा है), इसलिए सुविधाओं के अनुपात में असंतुलन के कारण इन अर्थ सुविधाओं का प्रभाव समतल किया जा सकता है।
घटनाओं के बीच के शब्दार्थ को किसी तरह प्रशिक्षण सेट में जोड़ने की आवश्यकता होती है, क्योंकि इस तथ्य के कारण कि घटनाओं (मामलों) के अनुक्रमों का आदेश दिया जाता है, आदेश मायने रखता है, और जानकारी को इससे निकाला जा सकता है।
आप एम्बेडिंग के लिए अधिक परिष्कृत आर्किटेक्चर का उपयोग कर सकते हैं।
, , — .

तंत्रिका नेटवर्क और प्रक्रिया खनन: दोस्त बनाने की कोशिश कर रहा है