IBM рдбреЗрдЯрд╛ рд╕рд╛рдЗрдВрд╕ рдкреНрд░реЛрдлреЗрд╢рдирд▓ рд╕рд░реНрдЯрд┐рдлрд┐рдХреЗрдЯ рдкреНрд░рдорд╛рдгрд┐рдд

рдпрд╣ рд▓реЗрдЦ рдЖрдИрдмреАрдПрдо рдбреЗрдЯрд╛ рд╕рд╛рдЗрдВрд╕ рдкреНрд░реЛрдлреЗрд╢рдирд▓ рд╕рд░реНрдЯрд┐рдлрд┐рдХреЗрдЯ рд╕рд░реНрдЯрд┐рдлрд┐рдХреЗрд╢рди рдХрд╛ рдЕрд╡рд▓реЛрдХрди рд╣реИ ред


рдкрд╛рдпрдерди рдореЗрдВ рдПрдХ рдиреМрд╕рд┐рдЦрд┐рдпрд╛ рдХреЗ рд░реВрдк рдореЗрдВ, рдореБрдЭреЗ рдХрд╛рд░реНрдпреЛрдВ рдХреЗ рдХрд╛рд░реНрдпрд╛рдиреНрд╡рдпрди рд╕реЗ рдирд┐рдкрдЯрдирд╛ рдерд╛:


  • рд▓реЛрдб рд╣реЛ рд░рд╣рд╛ рд╣реИ рдФрд░ HTML рдЯреЗрдмрд▓ рдкрд╛рд░реНрд╕
  • рдЕрдкрд▓реЛрдб рдХрд┐рдП рдЧрдП рдбреЗрдЯрд╛ рдХреА рд╕рдлрд╛рдИ
  • рдСрдмреНрдЬреЗрдХреНрдЯ рдХреЗ рдкрддреЗ рдкрд░ рднреМрдЧреЛрд▓рд┐рдХ рдирд┐рд░реНрджреЗрд╢рд╛рдВрдХ рдЦреЛрдЬреЗрдВ
  • рдбрд╛рдЙрдирд▓реЛрдб рдХрд░реЗрдВ рдФрд░ GEOJSON рдХреЛ рдкреНрд░реЛрд╕реЗрд╕ рдХрд░реЗрдВ
  • рдЗрдВрдЯрд░реЗрдХреНрдЯрд┐рд╡ рд╣реАрдЯ рдореИрдкреНрд╕ рдХрд╛ рдирд┐рд░реНрдорд╛рдг (рд╣реАрдЯ рдореИрдк)
  • рдЗрдВрдЯрд░рдПрдХреНрдЯрд┐рд╡ рдкреГрд╖реНрдарднреВрдорд┐ рдХрд╛рд░реНрдЯреЛрдЧреНрд░рд╛рдо (рдХреЛрд░реЛрдкрд▓реЗрде рдорд╛рдирдЪрд┐рддреНрд░) рдХрд╛ рдирд┐рд░реНрдорд╛рдг
  • рдПрдХ рдЧреЛрд▓рд╛рдХрд╛рд░ WGS84 рдФрд░ рдПрдХ рдХрд╛рд░реНрдЯреЗрд╢рд┐рдпрди рд╕рдордиреНрд╡рдп рдкреНрд░рдгрд╛рд▓реА UTM рдХреЗ рдмреАрдЪ рднреМрдЧреЛрд▓рд┐рдХ рдирд┐рд░реНрджреЗрд╢рд╛рдВрдХ рдХрд╛ рдкрд░рд┐рд╡рд░реНрддрди
  • рд╣рд▓рдХреЛрдВ рдХреЗ рд╣реЗрдХреНрд╕рд╛рдЧреЛрдирд▓ рдЧреНрд░рд┐рдб рдХреЗ рд░реВрдк рдореЗрдВ рд╕реНрдерд╛рдирд┐рдХ рднреМрдЧреЛрд▓рд┐рдХ рд╡рд╕реНрддреБрдУрдВ рдХрд╛ рдкреНрд░рддрд┐рдирд┐рдзрд┐рддреНрд╡
  • рдПрдХ рдмрд┐рдВрджреБ рд╕реЗ рд╡рд┐рд╢рд┐рд╖реНрдЯ рджреВрд░реА рдкрд░ рд╕реНрдерд┐рдд рднреМрдЧреЛрд▓рд┐рдХ рд╡рд┐рд╢реЗрд╖рддрд╛рдУрдВ рдХреА рдЦреЛрдЬ рдХрд░реЗрдВ
  • рднреМрдЧреЛрд▓рд┐рдХ рд╕рддрд╣ рдЬрдЯрд┐рд▓ рд╕рддрд╣ рдмрд╣реБрднреБрдЬ рдХреЗ рд▓рд┐рдП Georeferencing
  • рд╡рд░реНрдгрдирд╛рддреНрдордХ рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рд╡рд┐рд╢реНрд▓реЗрд╖рдг
  • рд╢реНрд░реЗрдгреАрдмрджреНрдз рдЪрд░ рдХрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдФрд░ рдкрд░рд┐рдгрд╛рдореЛрдВ рдХрд╛ рджреГрд╢реНрдп
  • рд╕рд╣рд╕рдВрдмрдВрдз рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдФрд░ рдкрд░рд┐рдгрд╛рдореЛрдВ рдХрд╛ рджреГрд╢реНрдп
  • рдХреЗ-рдореАрди рдХреНрд▓рд╕реНрдЯрд░рд┐рдВрдЧ рдФрд░ рдХреЛрд╣рдиреА рд╡рд┐рдзрд┐ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рд╡рд┐рднрд╛рдЬрди
  • рдЧреБрдЪреНрдЫреЛрдВ рдХрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдФрд░ рджреГрд╢реНрдп

рдкреНрд░рдорд╛рдгрди рдХреЗ рджреМрд░рд╛рди, 9 рдкрд╛рдареНрдпрдХреНрд░рдореЛрдВ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рдереА:



3 .
┬лPython for Data Science and AI┬╗ ┬лDatabases and SQL for Data Science┬╗ , .


┬лData Analysis with Python┬╗, ┬лData Visualization with Python┬╗, ┬лMachine Learning with Python┬╗ . Python.


Applied Data Science Capstone тАУ , Python, .


Applied Data Science Capstone.


тАФ Github.
тАФ 700 .


.


Python




1. Introduction


1.1 Background


тАФ 12 . 2561.5 ┬▓, 4924.96 /┬▓ 1.


12 (125 , 2 , 19 ) 30429 /┬▓ "", 560 /┬▓ "" 2.


68,768 /┬▓ "" 438,568 /┬▓ "" 3.


1.2 Business Problem


, , , . () .


, , , .


, , , .


:


  • ()

2. Data acquisition and cleaning


2.2. Data requirements


, :


  1. , :


    • ,
    • ┬▓,


  2. GEOJSON


  3. ( , , ...),



2.3. Describe data sources


HTML .


  • ┬▓,

Nominatim. , , , .


GEOJSON


( , ..) Foursquare API. , . 100 1000 . :


  • , 100 .
  • , Foursquare API .
  • , Foursquare API ( )
  • .

2.4. Describe data cleansing


HTML , . :


  • ' \n\t', ' ', ''
  • "" ""
  • float int

146 :


  • Borough_Name тАФ тАФ
  • District_Name тАФ ,
  • Borough_Type тАФ
  • OKATO_Borough_Code тАФ OKATO
  • OKTMO_District_Code тАФ OKTMO
  • Borough_Area тАФ
  • Borough_Population тАФ
  • Borough_Population_Density тАФ
  • Borough_Housing_Area тАФ .
  • Borough_Housing_Area_Per_Person тАФ
  • Borough_Housing_Price тАФ


.


рдорд╛рд╕реНрдХреЛ рдмрд░реЛ рдбреЗрдЯрд╛рд╕реЗрдЯ


Nominatim, , ( 10 ) .


. , Foursquare API.


рдорд╛рд╕реНрдХреЛ рд╢рд╣рд░ рдореЗрдВ рдмреЛрд░реЛ рдЬрдирд╕рдВрдЦреНрдпрд╛


, ( , , ...), , . 28 000 .


. Foursquare API.


рдХреНрд╖реЗрддреНрд░ рдХреЗ рдЙрдореНрдореАрджрд╡рд╛рд░реЛрдВ рдХреЗ рд╣реЗрдХреНрд╕рд╛рдЧреЛрдирд▓ рдЧреНрд░рд┐рдб рдХрд╛ рдЙрджрд╛рд╣рд░рдг


Forsquare API, 34460 ( , , ...) 7899 .


(350 ) , (300 ), .


27622 28 000 .


, , . GEOJSON .
, , .


, .


20864 ( , , ...), 120 . .
.


рдореЙрд╕реНрдХреЛ рд╡реЗрдиреЗрдЯреНрд╕


" " " ".


рдХреБрдЫ рдореЙрд╕реНрдХреЛ рдмрд░реЛ рдФрд░ рдерд┐рд╕ рд╡реЗрдиреНрдпреВ рдХрд╛ рдЙрджрд╛рд╣рд░рдг


3. Methodology


:


  • /

:


  • , ,
  • K-Mean

, . .


3.1. Exploratory Data Analysis


:


  • District_Name тАФ ,
  • Borough_Area тАФ
  • Borough_Population тАФ
  • Borough_Population_Density тАФ
  • Borough_Housing_Area тАФ .
  • Borough_Housing_Price тАФ

.


рд╡рд░реНрдгрдирд╛рддреНрдордХ рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рд╡рд┐рд╢реНрд▓реЗрд╖рдг


, 12 194 253 943 .
109 421 /┬▓ 438 568 /┬▓.


District_Name Borough_Population. , District_Name , , ┬л┬╗, ┬л┬╗, ┬л┬╗ ┬л┬╗.


'рдЬрд┐рд▓рд╛' рдФрд░ 'рдЬрдирд╕рдВрдЦреНрдпрд╛'


District_Name Borough_Housing_Price. , , District_Name .


'рдЬрд┐рд▓рд╛' рдФрд░ 'рдЖрд╡рд╛рд╕ рдореВрд▓реНрдп'


.
.


. (p-value):


  • p-value < 0.001: ,
  • p-value is < 0.05: ,
  • p-value is < 0.1: ,
  • p-value is > 0.1: ,

рд╕рд╣рд╕рдореНрдмрдВрдз рдореИрдЯреНрд░рд┐рдХреНрд╕


рд╕рд╣рд╕рдВрдмрдВрдз рдореИрдЯреНрд░рд┐рдХреНрд╕ рдореВрд▓реНрдпреЛрдВ


  • Borough_Area, Borough_Population_Density Borough_Population ,
  • Borough_Housing_Area Borough_Population ,
  • Borough_Area, Borough_Population_Density, Borough_Housing_Area Borough_Housing_Price ,
  • Borough_Area Borough_Population_Density ,

3.2. Clustering


, , .


, K-Means Elbow , , .


Elbow , ( 1 10). (distortion) (inertia).


Distortion Inertia .
(elbows) 3 5 .


3- .


'Elbow_Method_Distortion'


'Elbow_Method_Inertia'


, K-Means , :


  • % ( )
  • % ( )


'Moscow_Clustering'


:


  • "0" тАФ (78538 ), (173695 /┬▓) (10328 /┬▓)
  • "1" тАФ (153187 ), (160741 /┬▓) (13312 /┬▓)
  • "2" тАФ (79805 ), (333794 /┬▓) (10533 /┬▓)

"1" :


  • 34 43% , 37% ,

boxplot .


'Cluster_Borough_Population_boxplot'


'Cluster_Borough_Housing_Price_boxplot'


(choropleth map)
, "1" .
, .


'Moscow_Clustering_map'


4. Result


:


  • :
    • ()
  • ,
  • (heat map) (choropleth map)

.
.


Moscow_Recomended_Borough_df


20864 ( , , ...), 928 "Gym / Fitness Center", 259 .

.


Moscow_gym_venues_df


(heat map) (choropleth map) (HTML zip ) Interactive map
.


gym_heatmap_big


gym_heatmap_smal


gym_250


5. Discussion


:


  1. , :


    • ,
    • ┬▓,

  2. GEOJSON
  3. ( , , ...),

, GitHub .csv .


K-Means Elbow . Distortion Inertia , 3- . 5 , .
.


рдкреНрд░рддрд┐рд╕реНрдкрд░реНрдзреА рдлрд┐рдЯрдиреЗрд╕ рд╕реБрд╡рд┐рдзрд╛рдУрдВ рдХреА рдирд┐рдХрдЯрддрд╛ рдХрд╛ рдирд┐рд░реНрдзрд╛рд░рдг рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рдПрдХ рдЗрдВрдЯрд░реИрдХреНрдЯрд┐рд╡ рдерд░реНрдорд▓ рднреМрдЧреЛрд▓рд┐рдХ рдорд╛рдирдЪрд┐рддреНрд░ рдкрд░ рдлрд┐рдЯрдиреЗрд╕ рд╕реЗрдВрдЯрд░ рдкреНрд░рджрд░реНрд╢рд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдПрдХ рджреГрд╖реНрдЯрд┐рдХреЛрдг рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЧрдпрд╛ рдерд╛ред рдЗрд╕ рджреГрд╖реНрдЯрд┐рдХреЛрдг рдиреЗ рд╣рдореЗрдВ рдкреНрд░рддреНрдпреЗрдХ рдХреНрд╖реЗрддреНрд░ рдореЗрдВ рдореМрдЬреВрджрд╛ рдлрд┐рдЯрдиреЗрд╕ рдХреЗрдВрджреНрд░реЛрдВ рдХреА рдирд┐рдХрдЯрддрд╛ рдХрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░рдиреЗ рдФрд░ рдХрдо рдШрдирддреНрд╡ рд╡рд╛рд▓реЗ рдХреНрд╖реЗрддреНрд░реЛрдВ рдХреА рдкрд╣рдЪрд╛рди рдХрд░рдиреЗ рдХреА рдЕрдиреБрдорддрд┐ рджреАред


рдкреНрд░рд╛рдкреНрдд рдЖрдВрдХрдбрд╝реЛрдВ рдХреЗ рдЖрдзрд╛рд░ рдкрд░, рдлрд┐рдЯрдиреЗрд╕ рдСрдмреНрдЬреЗрдХреНрдЯреНрд╕ рдХреЗ рд╢реНрд░реЗрдгреАрдмрджреНрдз рд╡рд┐рднрд╛рдЬрди рдФрд░ рдирдП рдлрд┐рдЯрдиреЗрд╕ рд╕реЗрдВрдЯрд░реЛрдВ рдХреЗ рд▓рд┐рдП рдЕрдиреБрд╢рдВрд╕рд┐рдд рд╕реНрдерд╛рдиреЛрдВ рдХреА рд╕реНрд╡рдЪрд╛рд▓рд┐рдд рдЧрдгрдирд╛ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдПрдХ рдЕрддрд┐рд░рд┐рдХреНрдд рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ, рдкреНрд░рддрд┐рд╕реНрдкрд░реНрдзрд╛ рдлрд┐рдЯрдиреЗрд╕ рдСрдмреНрдЬреЗрдХреНрдЯреНрд╕ рдХреЗ рдШрдирддреНрд╡ рдХреЛ рдзреНрдпрд╛рди рдореЗрдВ рд░рдЦрддреЗ рд╣реБрдПред

Source: https://habr.com/ru/post/undefined/


All Articles