कैसे करें हवाईजहाज का पूर्वानुमान?

ये किसके लिये है?

कार्य की औपचारिकता

• आपको सीधी उड़ानों के लिए टिकट की भविष्यवाणी करने में सक्षम होना चाहिए (केवल गोल-यात्रा)
• आपको डेटाबेस में (सामान्य परिदृश्य) नियमित रूप से भविष्यवाणी करने और संग्रहीत करने में सक्षम होना चाहिए
• "फ्लाई पर" (जटिल परिदृश्य) की भविष्यवाणी करने में सक्षम होने की आवश्यकता है
• यह सब बहुत सीमित हार्डवेयर पर होता है - इसलिए, बड़ी मात्रा में डेटा के साथ न्यूनतम हेरफेर

यह कैसे करना है?

MemoryError: Unable to allocate array with shape (38, 288224989) and data type float64
OSError: [Errno 12] Cannot allocate memory

model = CatBoostRegressor(cat_features=cat_features,
          iterations=100,
          learning_rate=.5,
          depth=10,
          l2_leaf_reg=9,
          one_hot_max_size=5000)

for df in tqdm(pd.read_csv('history.tsv', sep='\t', 
                           na_values=['\\N'], 
                           chunksize=2_000_000)):
    ...
     model.fit(X=df[df.columns[:-1]][:train_size].values,
                  y=df['price'][:train_size].values,
                  eval_set=eval_pool,
                  verbose=False,
                  plot=False,
                  init_model=model) # <--        

<models>
    <model>
        <!-- Model type. Now catboost only. -->
        <type>catboost</type>
        <!-- Model name. -->
        <name>price</name>
        <!-- Path to trained model. -->
        <path>/opt/models/price_iter_model_2.bin</path>
        <!-- Update interval. -->
        <lifetime>0</lifetime>
    </model>
</models>

परिणामी DAG इस तरह दिखता है

DAGa ( Airflow):

SimpleHttpOperator

insert_ow_in_tmp = SimpleHttpOperator(
    task_id='insert_ow_in_tmp',
    http_conn_id='clickhouse_http',
    endpoint=dll_endpoint,
    method='POST',
    data=sql_templates.INSERT_OW_PREDICTIONS_IN_TMP,
    pool='clickhouse_select',
    dag=dag
)

select origin, destination, date,
         modelEvaluate('price', *)  predicted_price -- ,   
from log.history

+--------+-------------+------------+-----------------+
| origin | destination | date       | predicted_price |
+--------+-------------+------------+-----------------+
| VKO    | DEB         | 2020-03-20 | 3234.43244      |
+--------+-------------+------------+-----------------+
--* ,   

• केएच के बाहर डेटा अपलोड करने की आवश्यकता नहीं है (इसका मतलब है कि लोहे पर लोड पर तेजी से और कम खर्चीला है)
• Etl प्रक्रियाओं को करने की आवश्यकता नहीं है (आसान = अधिक विश्वसनीय)

पिछले लेख

एक और दिलचस्प विशेषता

कैटबॉस्ट बंडलों का उपयोग करते समय शीर्ष अवज्ञाकारी मुद्दे - क्लिकहाउस

1. केएच में स्पष्ट विशेषताएं आदेश को बदलते हैं और अंत में बन जाते हैं (और प्रशिक्षण के दौरान उस क्रम में नहीं);
2. modelEvaluate रिटर्न null - आपको यह जांचने की आवश्यकता है कि क्या आपके पास फीचर्स में शून्य मान हैं, यदि आपको उन्हें नैनो से बदलने की आवश्यकता है
3. नए संस्करणों में केएक्स के लिए कॉन्फ़िगर किए गए प्रारूप के साथ एक अस्पष्ट क्षण है, यहां वर्णित है