👐🏾 👂🏻 ☎️ QlikView में निर्भरता नरक से बाहर निकलना 🤙 👨🏻‍🎨 🎋

कीनू -1

टीएल; डीआर;

लेख बताता है कि काफी बड़े कार्यान्वयन में QlikView पर निर्मित रिपोर्टिंग अद्यतन नौकरियों के प्रबंधन के लिए अपाचे एयरफ़्लो कैसे लागू किया गया था।

निर्भरता नरक (अंग्रेजी निर्भरता नरक) विन्यास प्रबंधन का एंटीपैटर्न है, सॉफ्टवेयर उत्पादों और पुस्तकालयों की पारस्परिक निर्भरता के ग्राफ का विस्तार, जो नए उत्पादों को स्थापित करने और पुराने उत्पादों की स्थापना की कठिनाई की ओर जाता है।

विकिपीडिया

, 2018 , BIA-Technologies.

QlikView " ".

Qlik QlikSense, QlikView, 12.4, .

, , .

QlikView "" (application) — , "QVW" ( ), , , .

QlikView

QV मॉडल

क्यूवी स्क्रिप्ट

QV इंटरफ़ेस

, .

-- , , - QV. . , , . , "", ETL- , .

QV QVW , : , , . .

, , QVD. QlikView , , .

, ETL- , , QVD, , .

Qlik , , , (), - . QlikView QVD- . , QlikView, , , , .
, Qlik — NPrinting, , , , , SSRS, , QlikView, .

, QlikView:

, , QlikView Server (QVS). .QVW .
QlikView Distribution Service (QDS). Publisher , Reload Engine, QlikView, : , QVS, " ", , , , . , , , QlikView, , .
, QlikView Management Service (QMS) — .
, , - —

Qlik

क्यूवी आर्किटेक्चर

, MS SQL, ETL QlikView .

( ) , .QVW , . , . , , , QVD.

, , .
, - , 8-9 , . , , - , - 4 , , .

QMS , , , . , ( Reload Engine, . Publisher , rusbaron , ).

QMS :

सबंधी

, , .

, QMS . (, ).

, , , .

, .
, .

, .

, , , ( ), , , - , ..

, .

- , , , . , , .

, , ETL-, , , . , , , ETL- .
.

, — , , ,- — , .

- , , .
, . - , -. .
, . , , , . , , , . , , — .

, QDS . , - .
, . : , .

? . . ? .

, QlikView , , , .

, , , QlikView, . , , Hadoop ETL- .

QlikView , . , , .

QlikView : QMS QlikView Management Service API, . EDX (Event Driven Execution). , , QMS .

, " ", , , , , NPrinting.

, , — (Workflow management systems). , Apache Airflow.

Airflow — , . , , :

एयरफ्लो इंटरफ़ेस

— , -.

Airflow , , Airflow QMS, Airflow — , , . , , : -> Airflow — QlikView.

API QMS . , .

Airflow — , . , , , , .

Airflow . , (, , ), QlikView, , , .

Airflow . , , - . , , : , . , , , , , , .

Airflow (DAG — directed acyclic graph), , — .

, "Application 7" "ETL_4" "ETL_5". "ETL_3" "TimeSensor_6_30" — , 6:30.
DAG

Python.

tasksDict = {
    u'ETL_1.qvw': {},

    u'ETL_2.qvw': {
        'Pool': 'Heavy_ETL_pool',
    },

    u'ETL_3.qvw': {
        'StartTime': [6, 30]},

    u'ETL_4.qvw': {
        'Priority': -5,
        'Dep': [
            u'ETL_1.qvw',
            u'ETL_3.qvw', ]},

    u'ETL_5.qvw': {
        'Dep': [
            u'ETL_2.qvw', ]},

    u'Application_6.qvw': {
        'Dep': [
            u'ETL_1.qvw',
            u'ETL_5.qvw', ]},

    u'Application_7.qvw': {
        'Dep': [
            u'ETL_4.qvw',
            u'ETL_5.qvw',
        ]},
}

Airflow Python, , , . QlikView . , ( , , ) DAG. , , DAG .

: (5 ), (1 ) (100 ). . Airflow — — , , , , , , , , .

, DAG,

from datetime import datetime, timedelta
from airflow import DAG
from airflow.sensors.time_delta_sensor import TimeDeltaSensor
from airflow.contrib.operators.qds_operator import QDSReloadApplicationOperator

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2018, 1, 19),
    'email': ['Airflow.Administrator@mycompany.ru'],
    'email_on_failure': True,
    'email_on_retry': False,
    'retries': 0,
    'retry_delay': timedelta(minutes=5),
    'pool': 'default_pool',
}

dag = DAG('example_qds_operator',
          description='Reload applications at QlikView Distribution Service',
          catchup=False,
          schedule_interval='0 21 * * 5',
          default_args=default_args)

tasksDict = {
    u'ETL_1.qvw': {},

    u'ETL_2.qvw': {
        'Pool': 'Heavy_ETL_pool',
    },

    u'ETL_3.qvw': {
        'StartTime': [6, 30]},

    u'ETL_4.qvw': {
        'Priority': -5,
        'Dep': [
            u'ETL_1.qvw',
            u'ETL_3.qvw', ]},

    u'ETL_5.qvw': {
        'Dep': [
            u'ETL_2.qvw', ]},

    u'Application_6.qvw': {
        'Dep': [
            u'ETL_1.qvw',
            u'ETL_5.qvw', ]},

    u'Application_7.qvw': {
        'Dep': [
            u'ETL_4.qvw',
            u'ETL_5.qvw',
        ]},
}

airflowTasksDict = {}

for task in tasksDict.keys():
    task_id = task.replace(" ", "_").replace("'", "").replace("/", "_").replace("(", "_").replace(")", "_").replace(",", "_").replace(".qvw", "").replace("__",
                                                                                                                                                          "_")
    AirflowTask = QDSReloadApplicationOperator(document_name=task, task_id=task_id, qv_conn_id='qv_connection', dag=dag)
    airflowTasksDict[task] = AirflowTask

for task in tasksDict.keys():
    if 'Dep' in tasksDict[task]:
        for dep in tasksDict[task]['Dep']:
            airflowTasksDict[task].set_upstream(airflowTasksDict[dep])

    if 'Pool' in tasksDict[task]:
        airflowTasksDict[task].pool = tasksDict[task]['Pool']

    if 'Priority' in tasksDict[task]:
        airflowTasksDict[task].priority_weight = tasksDict[task]['Priority']

    if 'StartTime' in tasksDict[task]:
        hour = tasksDict[task]['StartTime'][0]
        minute = tasksDict[task]['StartTime'][1]
        sensorTime = timedelta(hours=hour, minutes=minute)
        sensorTaskID = u'TimeSensor_{}_{}'.format(hour, minute)

        if sensorTaskID not in airflowTasksDict:
            SensorTask = TimeDeltaSensor(delta=sensorTime, task_id=sensorTaskID, pool='Sensors', dag=dag)
            airflowTasksDict[sensorTaskID] = SensorTask
        airflowTasksDict[task].set_upstream(airflowTasksDict[sensorTaskID])

if __name__ == '__main__':
    dag.clear(reset_dag_runs=True)
    dag.run()

, Airflow QlikView:
DAG

Airflow .

- , - , .

, ETL- , , .

, Airflow . .
, , .

, — 1 . , -, .

. , , , . , .

एयरफ्लो कार्य प्रदर्शन के आंकड़ों पर काफी उपयोगी रिपोर्टिंग बनाता है, और हम नौकरी की अवधि के विकास की गतिशीलता को ट्रैक कर सकते हैं, साथ ही साथ अन्य रिपोर्ट भी प्राप्त कर सकते हैं, उदाहरण के लिए, गैंट चार्ट:

गैंट

कॉम्बैट एयरफ्लो हमारे साथ वर्चुअल मशीन में दो कोर और 4 जीबी की रैम के साथ काम करता है, और यह सेवा के सुचारू संचालन के लिए पर्याप्त है।

सामान्य तौर पर, मेरा मानना है कि हमने QlikView रिपोर्टिंग को अपडेट करने के मुद्दे को सफलतापूर्वक हल कर दिया है, और एयरफ्लो ने हमें इसमें अमूल्य मदद की।

कीनू -2

QlikView में निर्भरता नरक से बाहर निकलना

टीएल; डीआर;

More articles: