كيف تتنبأ بالطيران؟

لما هذا؟

إضفاء الطابع الرسمي على المهام

• يجب أن تكون قادرًا على توقع تذاكر الرحلات المباشرة (ذهابًا وإيابًا فقط)
• يجب أن تكون قادرًا على التنبؤ بهذا وتخزينه بانتظام في قاعدة البيانات (سيناريو بسيط)
• الحاجة إلى القدرة على التنبؤ "بسرعة" (السيناريو المعقد)
• كل هذا يحدث على أجهزة محدودة للغاية - لذا فإن الحد الأدنى من التلاعب بكميات كبيرة من البيانات

كيف افعلها؟

MemoryError: Unable to allocate array with shape (38, 288224989) and data type float64
OSError: [Errno 12] Cannot allocate memory

model = CatBoostRegressor(cat_features=cat_features,
          iterations=100,
          learning_rate=.5,
          depth=10,
          l2_leaf_reg=9,
          one_hot_max_size=5000)

for df in tqdm(pd.read_csv('history.tsv', sep='\t', 
                           na_values=['\\N'], 
                           chunksize=2_000_000)):
    ...
     model.fit(X=df[df.columns[:-1]][:train_size].values,
                  y=df['price'][:train_size].values,
                  eval_set=eval_pool,
                  verbose=False,
                  plot=False,
                  init_model=model) # <--        

<models>
    <model>
        <!-- Model type. Now catboost only. -->
        <type>catboost</type>
        <!-- Model name. -->
        <name>price</name>
        <!-- Path to trained model. -->
        <path>/opt/models/price_iter_model_2.bin</path>
        <!-- Update interval. -->
        <lifetime>0</lifetime>
    </model>
</models>

يبدو DAG الناتج مثل هذا

DAGa ( Airflow):

SimpleHttpOperator

insert_ow_in_tmp = SimpleHttpOperator(
    task_id='insert_ow_in_tmp',
    http_conn_id='clickhouse_http',
    endpoint=dll_endpoint,
    method='POST',
    data=sql_templates.INSERT_OW_PREDICTIONS_IN_TMP,
    pool='clickhouse_select',
    dag=dag
)

select origin, destination, date,
         modelEvaluate('price', *)  predicted_price -- ,   
from log.history

+--------+-------------+------------+-----------------+
| origin | destination | date       | predicted_price |
+--------+-------------+------------+-----------------+
| VKO    | DEB         | 2020-03-20 | 3234.43244      |
+--------+-------------+------------+-----------------+
--* ,   

• ليست هناك حاجة لتحميل البيانات إلى الخارج من KH (وهذا يعني أسرع وأقل تكلفة على الحمل على المكواة)
• لا حاجة للقيام بعمليات ETL (أسهل = أكثر موثوقية)

المقالات السابقة

ميزة أخرى مثيرة للاهتمام

أهم المشكلات غير الواضحة عند استخدام حزم Catboost - Clickhouse

1. السمات الفئوية في KH تغير الترتيب وتصبح في النهاية (وليس بالترتيب الذي كان أثناء التدريب) ؛
2. modelEvaluate تقوم بإرجاع null - تحتاج إلى التحقق مما إذا كان لديك قيم فارغة في الميزات ، إذا كنت بحاجة إلى استبدالها بـ nan
3. في الإصدارات الجديدة ، هناك لحظة غير واضحة مع تنسيق التهيئة لـ KX ، الموصوف هنا