рдЖрд░реНрдЯрд┐рдлрд┐рд╢рд┐рдпрд▓ рдЗрдВрдЯреЗрд▓рд┐рдЬреЗрдВрд╕ рд╡реЙрдЪ рдХрдореНрдкреНрд▓реЗрдВрдЯреНрд╕


рдХреЛрдИ рднреА рд╡рд┐рддреНрддреАрдп рд╕рдВрдЧрдарди рдПрдХ рдЬреАрд╡рд┐рдд рдЬреАрд╡ рд╣реИ рдФрд░ рдЗрд╕рдореЗрдВ рд╣реЛрдиреЗ рд╡рд╛рд▓реА рдкреНрд░рдХреНрд░рд┐рдпрд╛рдПрдВ рдЕрдкреВрд░реНрдг рд╣реИрдВред рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдХреА рдЦрд╛рдорд┐рдпрд╛рдВ рдЧреНрд░рд╛рд╣рдХ рдХреЗ рдЕрд╕рдВрддреЛрд╖ рдХреЛ рдЬрдиреНрдо рджреЗрддреА рд╣реИрдВ, рдЬреЛ рд╢рд┐рдХрд╛рдпрддреЛрдВ рдореЗрдВ рднреА рддрдмреНрджреАрд▓ рд╣реЛ рд╕рдХрддреА рд╣реИрдВред рдЗрд╕ рд▓реЗрдЦ рдореЗрдВ, рд╣рдо рдПрдХ рдЫреЛрдЯреА рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рдкрд░рд┐рдпреЛрдЬрдирд╛ рдХреЛ рд▓рд╛рдЧреВ рдХрд░рдХреЗ рд╕реНрд╡рдЪрд╛рд▓рди рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдореЗрдВ рд╣рдорд╛рд░реЗ рдпреЛрдЧрджрд╛рди рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдмрд╛рдд рдХрд░реЗрдВрдЧреЗред

рдЖрдк рд╕рд░рд▓ рддрд░реАрдХреЛрдВ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдХрд┐рд╕реА рднреА рдореБрд╢реНрдХрд┐рд▓ рдХрд╛рдо рдХреЛ рд╣рд▓ рдХрд░рдиреЗ рдХреА рдХреЛрд╢рд┐рд╢ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ, рдФрд░ рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рдХреЛрдИ рдЕрдкрд╡рд╛рдж рдирд╣реАрдВ рд╣реИред

рдкреНрд░рддрд┐рдХреНрд░рд┐рдпрд╛ рд╕рдмрд╕реЗ рдореВрд▓реНрдпрд╡рд╛рди рдЬрд╛рдирдХрд╛рд░реА рд╣реИ, рдЗрд╕рд▓рд┐рдП рдЖрдкрдХреЛ рдЗрд╕рдХреЗ рд╣рд░ рдмрд┐рдЯ рдХрд╛ рдпрдерд╛рд╕рдВрднрд╡ рдЕрдзреНрдпрдпрди рдХрд░рдирд╛ рдЪрд╛рд╣рд┐рдПред рдЧреНрд░рд╛рд╣рдХреЛрдВ рдХреА рд╢рд┐рдХрд╛рдпрддреЛрдВ рдХрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░рддреЗ рд╣реБрдП, рд╣рдо рдЙрджреНрджреЗрд╢реНрдпрдкреВрд░реНрдг рд░реВрдк рд╕реЗ рджреЗрдЦрддреЗ рд╣реИрдВ рдХрд┐ рд╡реНрдпрд╛рд╡рд╕рд╛рдпрд┐рдХ рдкреНрд░рдХреНрд░рд┐рдпрд╛рдПрдБ рдХрд┐рд╕ рддрд░рд╣ рдХреА рд╕рдорд╕реНрдпрд╛рдПрдВ рдкреИрджрд╛ рдХрд░рддреА рд╣реИрдВред рдЪреВрдВрдХрд┐ рдкреНрд░рдХреНрд░рд┐рдпрд╛рдПрдВ рдЕрдХреНрд╕рд░ рдкрд░рд╕реНрдкрд░ рдЬреБрдбрд╝реА рд╣реЛрддреА рд╣реИрдВ, рдЙрдиреНрд╣реЗрдВ рд╕рдореВрд╣рдмрджреНрдз рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ рдФрд░ рд╕рдореВрд╣ рдХреЗ рд░реВрдк рдореЗрдВ рдорд╛рдирд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред рддрджрдиреБрд╕рд╛рд░, рд╣рдо рдорд╛рдирдХ рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ (рдПрдордПрд▓) рдХрд╛рд░реНрдп рдХреЗ рд▓рд┐рдП рдЖрддреЗ рд╣реИрдВ - "рдорд▓реНрдЯреАрд╕реНрдХрд▓реИрд╕ рд╡рд░реНрдЧреАрдХрд░рдг"ред рдЗрд╕ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХреЗ рдкрд░рд┐рдгрд╛рдорд╕реНрд╡рд░реВрдк, рдХрд╛рд░реНрдп рд╣рд▓ рд╣реЛ рдЧрдпрд╛ рд╣реИ - рд╕рдВрдЧрдарди рдХреЗ рд▓рд┐рдП рд╕рдореЗрдХрд┐рдд рд╡рд┐рд╢реНрд▓реЗрд╖рд┐рдХреА рдХрд╛ рд╕рдВрдЧреНрд░рд╣ред

рд╡рд░реНрдЧреАрдХрд░рдг рдХрд╛рд░реНрдп рдПрдХ рдРрд╕рд╛ рдХрд╛рд░реНрдп рд╣реИ рдЬрд┐рд╕рдореЗрдВ рдХрдИ рд╡рд╕реНрддреБрдУрдВ рдХреЛ рдПрдХ рдирд┐рд╢реНрдЪрд┐рдд рддрд░реАрдХреЗ рд╕реЗ рдХрдХреНрд╖рд╛рдУрдВ рдореЗрдВ рд╡рд┐рднрд╛рдЬрд┐рдд рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред рдмрд╣реБрд╕реНрддрд░реАрдп рд╡рд░реНрдЧреАрдХрд░рдг рдХреЗ рдорд╛рдорд▓реЗ рдореЗрдВ, рдХрдХреНрд╖рд╛рдУрдВ рдХреА рд╕рдВрдЦреНрдпрд╛ 2 рд╕реЗ рдЕрдзрд┐рдХ рд╣реЛрдиреА рдЪрд╛рд╣рд┐рдП рдФрд░ рдпрд╣рд╛рдВ рддрдХ тАЛтАЛрдХрд┐ рдХрдИ рд╣рдЬрд╛рд░реЛрдВ рддрдХ рднреА рдкрд╣реБрдВрдЪ рд╕рдХрддреА рд╣реИред

рд╢рд┐рдХрд╛рдпрддреЛрдВ рдФрд░ рдЙрди рдкрд░ рдкреНрд░рддрд┐рдХреНрд░рд┐рдпрд╛рдУрдВ рдХрд╛ рдбреЗрдЯрд╛ рд╕рд░реНрд╡рд░ рдкрд░ рд╕рдВрдЧреНрд░рд╣реАрдд рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ, рдЙрддрд░рд╛рдИ рдФрд░ рдкреВрд░реНрд╡ рдкреНрд░рд╕рдВрд╕реНрдХрд░рдг рдХреА рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдбреЗрдЯрд╛рдмреЗрд╕ рдХреЗ рд▓рд┐рдП рдПрдХ рдЕрдиреБрд░реЛрдз рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ рдорд╛рдирдХ рдХреЗ рд░реВрдк рдореЗрдВ рдХреА рдЬрд╛рддреА рд╣реИ, рдЖрдЙрдЯрдкреБрдЯ рдкрд░ рд╣рдореЗрдВ рдбреЗрдЯрд╛ рдХреЗ рд╕рд╛рде рдПрдХ рдбреЗрдЯрд╛ рдлрд╝реНрд░реЗрдо рдорд┐рд▓рддрд╛ рд╣реИ рдЬрд┐рд╕реЗ рд╣рдо рдХрд╛рдо рдХрд░реЗрдВрдЧреЗред рд╢рд┐рдХрд╛рдпрдд рдФрд░ рдЗрд╕рдХреЗ рдЬрд╡рд╛рдм рдХрд╛рдлреА рд▓рдореНрдмреЗ рджрд╕реНрддрд╛рд╡реЗрдЬ рд╣реИрдВред рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдПрдХ рд╢рд┐рдХрд╛рдпрдд рдХреА рдкреНрд░рддрд┐рдХреНрд░рд┐рдпрд╛ рд╕реИрдХрдбрд╝реЛрдВ рдпрд╛ рд╣рдЬрд╛рд░реЛрдВ рд╢рдмреНрджреЛрдВ рддрдХ рднреА рдкрд╣реБрдВрдЪ рд╕рдХрддреА рд╣реИред рдРрд╕реЗ рдкрд╛рда рдХреЛ рд╕реАрдзреЗ рд╕рдВрд╕рд╛рдзрд┐рдд рдХрд░рдирд╛ рдмрд╣реБрдд рдорд╣рдВрдЧрд╛ (рдХрдореНрдкреНрдпреВрдЯреЗрд╢рдирд▓ рд░реВрдк рд╕реЗ) рд╣реИ, рдпрд╣реА рдХрд╛рд░рдг рд╣реИ рдХрд┐ рдкрд╛рда рдкреВрд░реНрд╡рдкреНрд░рдпреЛрдЧ рдЖрд╡рд╢реНрдпрдХ рд╣реИред

def review_to_wordlist(review):
       		review_text = re.sub('[^--]',' ', review)
       		words = review_text.strip().lower().split()
       		words = [w for w in words if not w in stop_words] 
       		words = [morph.parse(w)[0].normal_form for w in words]
       		new_stop_words = find_names(words)
       		words = [w for w in words if not w in new_stop_words]
       		return words

рдореЙрдбрд▓ рдХреЗ рдЕрдиреБрд╕рд╛рд░ рд╕рдЯреАрдХрддрд╛ рдХрд╛рдлреА рд╣рдж рддрдХ рдкрд╛рда рдХреА рд╡рд┐рд╢рд┐рд╖реНрдЯрддрд╛ рдкрд░ рдирд┐рд░реНрднрд░ рдХрд░рддреА рд╣реИ, рдЗрд╕рд▓рд┐рдП рдкрд╛рда рд╕реЗ рдРрд╕реЗ рд╢рдмреНрджреЛрдВ рдХреЛ рд╣рдЯрд╛рдирд╛ рдЖрд╡рд╢реНрдпрдХ рд╣реИ рдЬреЛ рдЕрдзрд┐рдХ рдЕрд░реНрде рдирд╣реАрдВ рд░рдЦрддреЗ рд╣реИрдВ - "рд╢рдмреНрджреЛрдВ рдХреЛ рд░реЛрдХреЗрдВ"ред рдЖрдорддреМрд░ рдкрд░ рд╢рдмреНрджреЛрдВ рдХреА рд░рдЪрдирд╛ рдореЗрдВ рдкреНрд░рд╕реНрддрд╛рд╡рдирд╛, рд╕рдВрдпреЛрдЬрди рдФрд░ рднрд╛рд╖рдг рдХреЗ рдЕрдиреНрдп рдорд╣рддреНрд╡рд╣реАрди рднрд╛рдЧ рд╢рд╛рдорд┐рд▓ рд╣реЛрддреЗ рд╣реИрдВред рд╣рдордиреЗ рдкрд╣рд▓реЗ рдФрд░ рдордзреНрдп рдирд╛рдореЛрдВ рдХреЗ рд╕рд╛рде рд╕реНрдЯреЙрдк рд╢рдмреНрдж рд╢рдмреНрджрдХреЛрд╢ рдХреЛ рднреА рдкреВрд░рдХ рдмрдирд╛рдпрд╛ред

def find_names(words, prob_thresh = 0.4):
    words = [w for w in words if 'str' in str(type(w))]
    add_stop_words = [w for w in words for p in morph.parse(w) if 'Name' in p.tag and
    p.score >= prob_thresh]
    stop_words.update(add_stop_words)
    return stop_words

рдкрд░рд┐рдпреЛрдЬрдирд╛ рдХреЗ рдХрд╛рд░реНрдпрд╛рдиреНрд╡рдпрди рд╕реЗ рдкрд╣рд▓реЗ, рд╡рд░реНрдЧреАрдХрд░рдг рдореИрдиреНрдпреБрдЕрд▓ рд░реВрдк рд╕реЗ рдХрд┐рдпрд╛ рдЧрдпрд╛ рдерд╛, рдЗрд╕рд▓рд┐рдП, рд╣рдорд╛рд░реЗ рдкрд╛рд╕ рд╡рд┐рд╢реЗрд╖рдЬреНрдЮреЛрдВ рджреНрд╡рд╛рд░рд╛ рдЪрд┐рд╣реНрдирд┐рдд рдбреЗрдЯрд╛ рд╣реИред рдФрд░ рдпрд╣ рдПрдХ рд╢рд┐рдХреНрд╖рдХ рдХреЗ рд╕рд╛рде рдПрдХ рдХреНрд▓рд╛рд╕рд┐рдХ рдПрдордПрд▓ рд╢рд┐рдХреНрд╖рдг рдХрд╛рд░реНрдп рд╣реИред рдкреВрд░реНрд╡-рд╕рдВрд╕рд╛рдзрд┐рдд рдкрд╛рда рдПрдХ рджреГрд╢реНрдп рдХреЗ рд▓рд┐рдП рдХрдо рд╣реЛ рдЬрд╛рддрд╛ рд╣реИ рдЬреЛ рдореЙрдбрд▓ рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдХрд░ рд╕рдХрддрд╛ рд╣реИред рдРрд╕рд╛ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рд╣рдо рдлреАрдЪрд░ рд╡реИрдХреНрдЯрд░ рдореЗрдВ рд╢рд┐рдХрд╛рдпрддреЛрдВ рдХреЗ рдЬрд╡рд╛рдмреЛрдВ рдХрд╛ рдЕрдиреБрд╡рд╛рдж рдХрд░рддреЗ рд╣реИрдВ (рдХреЛрдб рдореЗрдВ рдкреНрд░рдпреБрдХреНрдд рд╕реНрд╡рддрдВрддреНрд░ рдЪрд░, рд╕реБрд╡рд┐рдзрд╛рдУрдВ рдкрд░ рдирд┐рд░реНрднрд░ рдЪрд░ рд▓реЗрдмрд▓ рд╣реИ)ред

tfidf = TfidfVectorizer(sublinear_tf=True, min_df=5, norm='l2', encoding='utf8',  
    ngram_range=(1, 2), stop_words=stop_words)
features = tfidf.fit_transform(df_temp['Consumer_complaint_narrative'])
labels = df_temp['Num_bp']

рд░реИрдЦрд┐рдХ рд╕рдорд░реНрдерди рд╡реЗрдХреНрдЯрд░ рд╡рд░реНрдЧреАрдХрд░рдг рд╡рд░реНрдЧреАрдХрд░рдг рдХреЗ рд▓рд┐рдП рдЪреБрдирд╛ рдЧрдпрд╛ рд╣реИред рдпрд╣ рдирд┐рдореНрдирд▓рд┐рдЦрд┐рдд рдХрд╛рд░рдгреЛрдВ рд╕реЗ рдХрд┐рдпрд╛ рдЧрдпрд╛ рдерд╛:

  • рдмрдбрд╝реЗ рдЖрдпрд╛рдо рдХреЗ рдорд╛рдк рдХреЗ рд╕рд╛рде рдХрд╛рдо рдХрд░рддреЗ рд╕рдордп рдЙрдЪреНрдЪ рджрдХреНрд╖рддрд╛;
  • рдирдореВрдиреЛрдВ рдХреА рд╕рдВрдЦреНрдпрд╛ рд╕реЗ рдЕрдзрд┐рдХ рдЖрдпрд╛рдо рдХреЗ рдорд╛рдорд▓реЗ рдореЗрдВ рд╕реНрдерд┐рд░ рдХрд╛рдоред

рдЗрд╕ рдкрд░рд┐рдпреЛрдЬрдирд╛ рдХреЛ рдкреНрд░реЛрдо рдореЗрдВ рдХрд╛рд░реНрдпрд╛рдиреНрд╡рдпрди рдХреЗ рд▓рд┐рдП рддреИрдпрд╛рд░ рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИред рд╣рд░ рджрд┐рди, рдореЙрдбрд▓ рдХрд╛рд░реНрдп рджрд┐рд╡рд╕ рдХреЗ рджреМрд░рд╛рди рджрд░реНрдЬ рдХрд┐рдП рдЧрдП рдбреЗрдЯрд╛ рдХрд╛ рд╡рд░реНрдЧреАрдХрд░рдг рдХрд░реЗрдЧрд╛ред рдкреНрд░рд╛рд░рдВрднрд┐рдХ рдЪрд░рдг рдореЗрдВ, рдПрдХ рд╡рд┐рд╢реЗрд╖рдЬреНрдЮ рджреНрд╡рд╛рд░рд╛ рдореЙрдбрд▓ рдХреЗ рдХрд╛рдо рдХрд╛ рдПрдХ рдЕрддрд┐рд░рд┐рдХреНрдд рдореИрдиреБрдЕрд▓ рд╕рддреНрдпрд╛рдкрди рдорд╛рдирд╛ рдЬрд╛рддрд╛ рд╣реИред рдорд╣реАрдиреЗ рдореЗрдВ рдПрдХ рдмрд╛рд░, рдореЙрдбрд▓ рд╡рд╛рдкрд╕ рд▓рд┐рдпрд╛ рдЬрд╛рдПрдЧрд╛ред рдЗрд╕ рдкрд░рд┐рдпреЛрдЬрдирд╛ рдХреЗ рдХрд╛рд░реНрдпрд╛рдиреНрд╡рдпрди рдиреЗ рд╣рдореЗрдВ рднрд╡рд┐рд╖реНрдп рдХреЗ рдХрд░реАрдм рдПрдХ рдХрджрдо рдЙрдард╛рдиреЗ рдХреА рдЕрдиреБрдорддрд┐ рджреА!

All Articles