بيثون نيوز توقع سعر البيتكوين

مهمة

• يجب تثبيت Python 2.6+ أو 3.1+ على النظام
• تثبيت الباندا ، sklearn و openblender (باستخدام النقطة)

$ pip install pandas OpenBlender scikit-learn

الخطوة 1. احصل على بيانات Bitcoin

import OpenBlender
import pandas as pd
import json

# It only contains the id, we'll add more parameters later.
parameters = { 
 'id_dataset':'5d4c3af79516290b01c83f51'
}

parameters = {     
   'token':'your_token',
   'id_dataset':'5d4c3af79516290b01c83f51'
}

# This function pulls the data and orders by timestamp
def pullObservationsToDF(parameters):
    action = 'API_getObservationsFromDataset'
    df = pd.read_json(json.dumps(OpenBlender.call(action,parameters)['sample']), convert_dates=False,convert_axes=False) .sort_values('timestamp', ascending=False)
    df.reset_index(drop=True, inplace=True)
    return df
df = pullObservationsToDF(parameters)

الخطوة 2. إعداد البيانات

parameters = {
   'token':'your_token',   
   'id_dataset':'5d4c3af79516290b01c83f51',
   'target_threshold':{'feature':'change', 'success_thr_over': 0}
}

df = pullObservationsToDF(parameters)
df.head() 

parameters = { 
   'token':'your_token',
   'id_dataset':'5d4c3af79516290b01c83f51',
   'target_threshold':{'feature':'change','success_thr_over' : 0},
   'lag_target_feature':{'feature':'change_over_0', 'periods' : 1}
}
df = pullObservationsToDF(parameters)
df.head()

target_variable = 'TARGET_change_over_0'
df = df.dropna()
df.corr()[target_variable].sort_values()

الخطوة 3. الحصول على بيانات أخبار الأعمال

action = 'API_createTextVectorizer'
vectorizer_parameters = {
    'token' : 'your_token',
    'name' : 'Fox Business TextVectorizer',
    'sources':[{'id_dataset' : '5d571f9e9516293a12ad4f6d',
                'features' : ['title']}],
    'ngram_range' : {'min' : 1, 'max' : 2},
    'language' : 'en',
    'remove_stop_words' : 'on',
    'min_count_limit' : 2
}

• الاسم : دعونا نسميها "Fox Business TextVectorizer" ؛
• anchor : معرف مجموعة البيانات واسم الخصائص التي سنحتاج إلى استخدامها كمصدر (في حالتنا ، عمود "العنوان" فقط ) ؛
• ngram_range : الحد الأدنى والحد الأقصى لطول مجموعة من الكلمات للترميز ؛
• اللغة : الإنجليزية
• remove_stop_words : لإزالة كلمات التوقف من المصدر ؛
• min_count_limit : الحد الأدنى من التكرار الذي يجب اعتباره رمزًا (نادرًا ما تكون التكرارات الفردية مفيدة).

res = OpenBlender.call(action, vectorizer_parameters)
res

{  
    'message' : 'TextVectorizer created successfully.'
    'id_textVectorizer' : '5dc1a404951629331f6359dd',
    'num_ngrams': 4270
}

الخطوة 4. موجز الأخبار المتوافقة مع مجموعة بيانات بيتكوين

parameters = { 
   'token':'your_token',  
   'id_dataset':'5d4c3af79516290b01c83f51',
   'target_threshold' : {'feature':'change','success_thr_over':0},
   'lag_target_feature' : {'feature':'change_over_0', 'periods':1},
   'blends':[{'id_blend':'5dc1a404951629331f6359dd',
               'blend_type' : 'text_ts',
               'restriction' : 'predictive', 
               'specifications':{'time_interval_size' : 3600*12 }}]
}

• id_blend : معرف textVectorizer الخاص بنا ؛
• blend_type : "text_ts" بحيث تدرك Python أنها مزيج من النص والطابع الزمني ؛
• التقييد : "تنبئي" ، بحيث لا يوجد "خلط" للأخبار من المستقبل مع جميع الملاحظات ، ولكن فقط مع تلك التي تم نشرها في وقت سابق عن الوقت المحدد.
• blend_class : 'closest_observation' ، بحيث تكون "الملاحظات المختلطة" هي الأقرب فقط ؛
• المواصفات : أقصى قدر ممكن من الوقت المنقضي لنقل الملاحظة ، في هذه الحالة 12 ساعة (3600 * 12). هذا يعني أنه سيتم توقع كل ملاحظة على سعر البيتكوين بناءً على أخبار آخر 12 ساعة.

parameters = { 
   'token':'your_token',
   'id_dataset':'5d4c3af79516290b01c83f51',
   'target_threshold' : {'feature':'change','success_thr_over':0},
   'lag_target_feature' : {'feature':'change_over_0', 'periods':1},
   'blends':[{'id_blend':'5dc1a404951629331f6359dd',
               'blend_type' : 'text_ts',
               'restriction' : 'predictive',
               'blend_class' : 'closest_observation', 
               'specifications':{'time_interval_size' : 3600*12 }}],
   'date_filter':{'start_date':'2019-08-20T16:59:35.825Z',
                   'end_date':'2019-11-04T17:59:35.825Z'},
   'drop_non_numeric' : 1
}

df = pullObservationsToDF(parameters)
print(df.shape)
df.head()

الخطوة 5. تطبيق ML على هدف التنبؤ

X = df.loc[:, df.columns != target_variable].values
y = df.loc[:,[target_variable]].values
div = int(round(len(X) * 0.29))
# We take the first observations as test and the last as train because the dataset is ordered by timestamp descending.
X_test = X[:div]
y_test = y[:div]
print(X_test.shape)
print(y_test.shape)
X_train = X[div:]
y_train = y[div:]
print(X_train.shape)
print(y_train.shape)

from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_squared_error
from sklearn.metrics import accuracy_score
from sklearn.metrics import roc_auc_score
from sklearn import metrics

rf = RandomForestRegressor(n_estimators = 1000)
rf.fit(X_train, y_train)
y_pred = rf.predict(X_test)

df_res = pd.DataFrame({'y_test':y_test[:,0], 'y_pred':y_pred})
df_res.head()

threshold = 0.5
preds = [1 if val > threshold else 0 for val in df_res['y_pred']]

print(roc_auc_score(preds, df_res['y_test']))
print(metrics.confusion_matrix(preds, df_res['y_test']))
print(accuracy_score(preds, df_res['y_test']))

• 9 مرات توقعنا انخفاضًا ، وانخفض السعر (حق) ؛
• 5 مرات توقعنا انخفاضًا ، وارتفع السعر (بشكل غير صحيح) ؛
• 1 مرة توقعنا زيادة ، لكن السعر انخفض بشكل غير صحيح) ؛
• 2 مرات توقعنا زيادة ، وارتفع السعر (صحيح).