Python News Bitcoin Preisvorhersage

Aufgabe

• Python 2.6+ oder 3.1+ muss auf dem System installiert sein
• Installiere Pandas , Sklearn und Openblender (mit pip)

$ pip install pandas OpenBlender scikit-learn

Schritt 1. Bitcoin-Daten abrufen

import OpenBlender
import pandas as pd
import json

# It only contains the id, we'll add more parameters later.
parameters = { 
 'id_dataset':'5d4c3af79516290b01c83f51'
}

parameters = {     
   'token':'your_token',
   'id_dataset':'5d4c3af79516290b01c83f51'
}

# This function pulls the data and orders by timestamp
def pullObservationsToDF(parameters):
    action = 'API_getObservationsFromDataset'
    df = pd.read_json(json.dumps(OpenBlender.call(action,parameters)['sample']), convert_dates=False,convert_axes=False) .sort_values('timestamp', ascending=False)
    df.reset_index(drop=True, inplace=True)
    return df
df = pullObservationsToDF(parameters)

Schritt 2. Datenvorbereitung

parameters = {
   'token':'your_token',   
   'id_dataset':'5d4c3af79516290b01c83f51',
   'target_threshold':{'feature':'change', 'success_thr_over': 0}
}

df = pullObservationsToDF(parameters)
df.head() 

parameters = { 
   'token':'your_token',
   'id_dataset':'5d4c3af79516290b01c83f51',
   'target_threshold':{'feature':'change','success_thr_over' : 0},
   'lag_target_feature':{'feature':'change_over_0', 'periods' : 1}
}
df = pullObservationsToDF(parameters)
df.head()

target_variable = 'TARGET_change_over_0'
df = df.dropna()
df.corr()[target_variable].sort_values()

Schritt 3. Abrufen von Wirtschaftsnachrichtendaten

action = 'API_createTextVectorizer'
vectorizer_parameters = {
    'token' : 'your_token',
    'name' : 'Fox Business TextVectorizer',
    'sources':[{'id_dataset' : '5d571f9e9516293a12ad4f6d',
                'features' : ['title']}],
    'ngram_range' : {'min' : 1, 'max' : 2},
    'language' : 'en',
    'remove_stop_words' : 'on',
    'min_count_limit' : 2
}

• Name : Nennen wir es "Fox Business TextVectorizer" .
• Anker : ID des Datensatzes und Name der Merkmale, die wir als Quelle verwenden müssen (in unserem Fall nur die Spalte "Titel" );
• ngram_range : minimale und maximale Länge einer Reihe von Wörtern für die Tokenisierung;
• Sprache : Englisch
• remove_stop_words : um Stoppwörter aus der Quelle zu entfernen;
• min_count_limit : Die Mindestanzahl von Wiederholungen, die als Token betrachtet werden sollten (einzelne Vorkommen sind selten nützlich).

res = OpenBlender.call(action, vectorizer_parameters)
res

{  
    'message' : 'TextVectorizer created successfully.'
    'id_textVectorizer' : '5dc1a404951629331f6359dd',
    'num_ngrams': 4270
}

Schritt 4. Kompatible News-Zusammenfassung mit Bitcoin-Datensatz

parameters = { 
   'token':'your_token',  
   'id_dataset':'5d4c3af79516290b01c83f51',
   'target_threshold' : {'feature':'change','success_thr_over':0},
   'lag_target_feature' : {'feature':'change_over_0', 'periods':1},
   'blends':[{'id_blend':'5dc1a404951629331f6359dd',
               'blend_type' : 'text_ts',
               'restriction' : 'predictive', 
               'specifications':{'time_interval_size' : 3600*12 }}]
}

• id_blend : id unseres textVectorizer;
• blend_type : 'text_ts', damit Python versteht, dass es sich um eine Mischung aus Text und Zeitstempel handelt;
• Einschränkung : "vorausschauend" , so dass es keine "Vermischung" von Nachrichten aus der Zukunft mit allen Beobachtungen gibt, sondern nur mit denen, die früher als zum angegebenen Zeitpunkt veröffentlicht wurden.
• blend_class : 'next_observation' , so dass nur die nächsten Beobachtungen "gemischt" werden;
• Spezifikationen : Die maximal mögliche verstrichene Zeit für die Übertragung der Beobachtung, in diesem Fall 12 Stunden (3600 * 12). Dies bedeutet, dass jede Beobachtung des Bitcoin-Preises basierend auf den Nachrichten der letzten 12 Stunden vorhergesagt wird.

parameters = { 
   'token':'your_token',
   'id_dataset':'5d4c3af79516290b01c83f51',
   'target_threshold' : {'feature':'change','success_thr_over':0},
   'lag_target_feature' : {'feature':'change_over_0', 'periods':1},
   'blends':[{'id_blend':'5dc1a404951629331f6359dd',
               'blend_type' : 'text_ts',
               'restriction' : 'predictive',
               'blend_class' : 'closest_observation', 
               'specifications':{'time_interval_size' : 3600*12 }}],
   'date_filter':{'start_date':'2019-08-20T16:59:35.825Z',
                   'end_date':'2019-11-04T17:59:35.825Z'},
   'drop_non_numeric' : 1
}

df = pullObservationsToDF(parameters)
print(df.shape)
df.head()

Schritt 5. Wenden Sie ML auf das Vorhersageziel an

X = df.loc[:, df.columns != target_variable].values
y = df.loc[:,[target_variable]].values
div = int(round(len(X) * 0.29))
# We take the first observations as test and the last as train because the dataset is ordered by timestamp descending.
X_test = X[:div]
y_test = y[:div]
print(X_test.shape)
print(y_test.shape)
X_train = X[div:]
y_train = y[div:]
print(X_train.shape)
print(y_train.shape)

from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_squared_error
from sklearn.metrics import accuracy_score
from sklearn.metrics import roc_auc_score
from sklearn import metrics

rf = RandomForestRegressor(n_estimators = 1000)
rf.fit(X_train, y_train)
y_pred = rf.predict(X_test)

df_res = pd.DataFrame({'y_test':y_test[:,0], 'y_pred':y_pred})
df_res.head()

threshold = 0.5
preds = [1 if val > threshold else 0 for val in df_res['y_pred']]

print(roc_auc_score(preds, df_res['y_test']))
print(metrics.confusion_matrix(preds, df_res['y_test']))
print(accuracy_score(preds, df_res['y_test']))

• 9 Mal haben wir einen Rückgang vorhergesagt und der Preis ist gesunken (rechts);
• 5-mal haben wir einen Rückgang vorhergesagt und der Preis ist gestiegen (falsch);
• 1 Mal haben wir einen Anstieg vorhergesagt, aber der Preis ist falsch gesunken);
• 2 Mal haben wir einen Anstieg vorhergesagt und der Preis ist gestiegen (wahr).