एक परियोजना में, थर्ड-पार्टी सिस्टम से डेटा आयात करने की प्रक्रिया को एक माइक्रोसैस आर्किटेक्चर में स्थानांतरित करने की आवश्यकता थी। Apache NiFi को एक उपकरण के रूप में चुना गया था। पहले प्रायोगिक के रूप में, संघीय कर सेवा रजिस्टर का आयात चुना गया था।

USRLE डेटा को ज़िप अभिलेखागार में पैक की गई XML फ़ाइलों के रूप में प्रकाशित किया जाता है। https://ftp.egrul.nalog.ru/संबंधित तिथि के लिए एक अलग निर्देशिका में एक संसाधन पर दैनिक अभिलेखागार रखे जाते हैं । पहुंच के लिए, कुंजी # PKCS12 है।

NiFi के साथ जिस कार्य को हल करने की आवश्यकता है, वह फेडरल टैक्स सर्विस की फाइलें डाउनलोड कर रहा है और हमारी सेवाओं में आयात के लिए डाउनलोड किए गए डेटा को तैयार कर रहा है। यह आलेख वर्णन करता है कि फ़ाइल डाउनलोड कैसे लागू करें।

डेटा स्रोत

यूएसआरएलई से डेटा प्राप्त करना संघीय कर सेवा की सेवा के रूप में किया जाता है "यूएसआरएलई और यूएसआरआईपी के डेटाबेस तक एकीकरण और पहुंच।" इंटरैक्शन मॉडल का विवरण यहां प्रस्तुत किया गया है ।

यह संघीय कर सेवा का संसाधन है, जिसमें से आप फ़ाइलों को डाउनलोड करना चाहते हैं।

पूर्ण प्रत्यय के साथ निर्देशिकाएँ इसी वर्ष की शुरुआत में पूर्ण रजिस्टर के अनलोडिंग हैं। शेष कैटलॉग रजिस्टर में दैनिक अद्यतन हैं। हम दैनिक अपडेट डाउनलोड करने में रुचि रखते हैं।

Apache NiFi में स्ट्रीम सेटअप

स्ट्रीम का कार्य कल के अपलोड के साथ कैटलॉग फ़ाइलों की एक सूची एकत्र करना है, इन फ़ाइलों को प्राप्त करें और उन्हें अनज़िप करें।

NiFi :

FlowFile,
HTML
HTML ,

FlowFile

FlowFile GenerateFlowFile.

GenerateFlowFile

24 FlowFile fnsEgrulURL. https://ftp.egrul.nalog.ru/?dir=EGRUL/14.04.2020. NiFi Expression Language:

${literal('https://ftp.egrul.nalog.ru/?dir=EGRUL/'):append(${now():toNumber():minus(86400000):format('dd.MM.yyyy')})}

उन। वर्तमान तिथि को लिया गया है और तिथि के संख्यात्मक प्रतिनिधित्व में परिवर्तित कर दिया गया है। 86,400,000 मिलीसेकंड को इससे घटाया जाता है। परिणाम प्रारूप dM.M.yyyy में दिनांक के एक स्ट्रिंग प्रतिनिधित्व में परिवर्तित हो जाता है। परिणामी तिथि लिंक के स्थायी भाग में जोड़ी जाती है।

आउटपुट पर, हमें निम्न फ़ॉर्म का फ़्लोफ़ाइल मिलता है :

स्क्रीनशॉट फ़्लोफ़ाइल

निर्देशिका सामग्री पुनर्प्राप्त कर रहा है

InvokeHTTP प्रोसेसर का उपयोग निर्देशिका की सामग्री प्राप्त करने के लिए किया जाता है । वह कल के अपलोड के साथ निर्देशिका के लिंक का उपयोग करके एक GET अनुरोध करता है। जवाब में, प्रोसेसर कैटलॉग HTML कोड प्राप्त करता है और इस HTML कोड को फ़्लोफ़ाइल में सामग्री के रूप में जोड़ता है।

InvokeHTTP प्रोसेसर स्क्रीनशॉट

:
HTTPMethod — GET;
Remote URL — , URL . ${fnsEgrulURL} — FlowFile fnsEgrulURL;
SSL Context Service — SSLContextService , .. HTTPS. #PKCS12 .

FlowFile , , — HTML- .

SSLContextService

SSLContextService

SSLContexService #PKCS12 , , .

cacerts JDK. . https://fns.egrul.nalog.ru , #PKCS12. .

प्रमाण पत्र श्रृंखला में, आपको रूसी डीपीसी कर सेवा प्रमाणपत्र का चयन करना होगा और इसे डीईआर एन्कोडिंग में .CER प्रारूप में निर्यात करना होगा । इसके बाद, आप में प्राप्त फ़ाइल से प्रमाणपत्र आयात करने की आवश्यकता cacerts भंडार का उपयोग कर Keytool उपयोगिता । उदाहरण के लिए, इस तरह:

C:\Program Files\Java\jdk1.8.0_121\bin> keytool -importcert -keystore "C:\Program Files\Java\jdk1.8.0_121\jre\lib\security\cacerts" -file {   .CER}

डिफ़ॉल्ट के लिए पासवर्ड cacerts है changeit ।

cacerts , NiFi . , Persistent Volume. SSLContextService. PKSC12, cacerts — JKS.

GetHTMLElement, HTML- FlowFile-. ZIP-.

<div id="page-content" class="container">
    <div id="directory-list-header">
        <div class="row">
            <div class="col-md-7 col-sm-6 col-xs-10"></div>
            <div class="col-md-2 col-sm-2 col-xs-2 text-right"></div>
            <div class="col-md-3 col-sm-4 hidden-xs text-right"> </div>
        </div>
    </div>
    <ul id="directory-listing" class="nav nav-pills nav-stacked">
                            <li data-name=".." data-href="https://ftp.egrul.nalog.ru/?dir=EGRUL">
                <a href="https://ftp.egrul.nalog.ru/?dir=EGRUL" class="clearfix" data-name="..">
                    <div class="row">
                        <span class="file-name col-md-7 col-sm-6 col-xs-9">
                            <i class="fa fa-level-up fa-fw"></i>
                            ..                                </span>
                        <span class="file-size col-md-2 col-sm-2 col-xs-3 text-right">
                            -                                </span>
                        <span class="file-modified col-md-3 col-sm-4 hidden-xs text-right">
                            2020-04-05 22:00:00                                </span>
                    </div>
                </a>
            </li>
                            <li data-name="EGRUL_2020-04-05_1.zip" data-href="EGRUL/05.04.2020/EGRUL_2020-04-05_1.zip">
                <a href="EGRUL/05.04.2020/EGRUL_2020-04-05_1.zip" class="clearfix" data-name="EGRUL_2020-04-05_1.zip">
                    <div class="row">
                        <span class="file-name col-md-7 col-sm-6 col-xs-9">
                            <i class="fa fa-file-archive-o fa-fw"></i>
                            EGRUL_2020-04-05_1.zip                                </span>
                        <span class="file-size col-md-2 col-sm-2 col-xs-3 text-right">
                            528.78KB                                </span>
                        <span class="file-modified col-md-3 col-sm-4 hidden-xs text-right">
                            2020-04-05 22:00:24                                </span>
                    </div>
                </a>                     
                    <a href="javascript:void(0)" class="file-info-button">
                        <i class="fa fa-info-circle"></i>
                    </a>
            </li>
    </ul>
</div>

GetHTMLElement

:
URL — URL HTML-;
CSS Selector — . li[data-name^=EGRUL] — li, data-name, EGRUL;
Output Type — Attribute — HTML-;
Destination — flowfile-attribute — FlowFile- ( HTMLElement);
Attribute Name — , . abs:${literal('data-href')} — URL (abs:) + data-href , CSS-.

, CSS- FlowFile ZIP- HTMLElement.

InvokeHTTP , HTML- . URL HTMLElement, ZIP-. SSLContextService .

InvokeHTTP

ZIP- FlowFile .

UnpackContent. — ZIP.

UnpackContent प्रोसेसर स्क्रीनशॉट

आउटपुट पर, प्रोसेसर ज़िप संग्रह से अनपेक्षित प्रत्येक XML फ़ाइल के लिए एक फ़्लोफ़ाइल बनाता है ।

आगे की...

इसके अलावा, प्रत्येक XML को JSON में परिवर्तित करने और संगठन द्वारा टूट जाने की आवश्यकता है, क्योंकि प्रत्येक XML में 1 से 1000 रजिस्टर बयान होते हैं। और JSON से भविष्य में डेटा को SQL या NoSQL स्टोरेज में लोड करना संभव होगा।

XML को JSON और AVROSchema में परिवर्तित करना अगले लेख में है।

Apache NiFi के माध्यम से USRLE आयात करें। चरण 1 - HTTPS के माध्यम से फ़ाइलें डाउनलोड करें