рдпрд╣ рд▓реЗрдЦ рдЖрдИрдмреАрдПрдо рдбреЗрдЯрд╛ рд╕рд╛рдЗрдВрд╕ рдкреНрд░реЛрдлреЗрд╢рдирд▓ рд╕рд░реНрдЯрд┐рдлрд┐рдХреЗрдЯ рд╕рд░реНрдЯрд┐рдлрд┐рдХреЗрд╢рди рдХрд╛ рдЕрд╡рд▓реЛрдХрди рд╣реИ ред
рдкрд╛рдпрдерди рдореЗрдВ рдПрдХ рдиреМрд╕рд┐рдЦрд┐рдпрд╛ рдХреЗ рд░реВрдк рдореЗрдВ, рдореБрдЭреЗ рдХрд╛рд░реНрдпреЛрдВ рдХреЗ рдХрд╛рд░реНрдпрд╛рдиреНрд╡рдпрди рд╕реЗ рдирд┐рдкрдЯрдирд╛ рдерд╛:
- рд▓реЛрдб рд╣реЛ рд░рд╣рд╛ рд╣реИ рдФрд░ HTML рдЯреЗрдмрд▓ рдкрд╛рд░реНрд╕
- рдЕрдкрд▓реЛрдб рдХрд┐рдП рдЧрдП рдбреЗрдЯрд╛ рдХреА рд╕рдлрд╛рдИ
- рдСрдмреНрдЬреЗрдХреНрдЯ рдХреЗ рдкрддреЗ рдкрд░ рднреМрдЧреЛрд▓рд┐рдХ рдирд┐рд░реНрджреЗрд╢рд╛рдВрдХ рдЦреЛрдЬреЗрдВ
- рдбрд╛рдЙрдирд▓реЛрдб рдХрд░реЗрдВ рдФрд░ GEOJSON рдХреЛ рдкреНрд░реЛрд╕реЗрд╕ рдХрд░реЗрдВ
- рдЗрдВрдЯрд░реЗрдХреНрдЯрд┐рд╡ рд╣реАрдЯ рдореИрдкреНрд╕ рдХрд╛ рдирд┐рд░реНрдорд╛рдг (рд╣реАрдЯ рдореИрдк)
- рдЗрдВрдЯрд░рдПрдХреНрдЯрд┐рд╡ рдкреГрд╖реНрдарднреВрдорд┐ рдХрд╛рд░реНрдЯреЛрдЧреНрд░рд╛рдо (рдХреЛрд░реЛрдкрд▓реЗрде рдорд╛рдирдЪрд┐рддреНрд░) рдХрд╛ рдирд┐рд░реНрдорд╛рдг
- рдПрдХ рдЧреЛрд▓рд╛рдХрд╛рд░ WGS84 рдФрд░ рдПрдХ рдХрд╛рд░реНрдЯреЗрд╢рд┐рдпрди рд╕рдордиреНрд╡рдп рдкреНрд░рдгрд╛рд▓реА UTM рдХреЗ рдмреАрдЪ рднреМрдЧреЛрд▓рд┐рдХ рдирд┐рд░реНрджреЗрд╢рд╛рдВрдХ рдХрд╛ рдкрд░рд┐рд╡рд░реНрддрди
- рд╣рд▓рдХреЛрдВ рдХреЗ рд╣реЗрдХреНрд╕рд╛рдЧреЛрдирд▓ рдЧреНрд░рд┐рдб рдХреЗ рд░реВрдк рдореЗрдВ рд╕реНрдерд╛рдирд┐рдХ рднреМрдЧреЛрд▓рд┐рдХ рд╡рд╕реНрддреБрдУрдВ рдХрд╛ рдкреНрд░рддрд┐рдирд┐рдзрд┐рддреНрд╡
- рдПрдХ рдмрд┐рдВрджреБ рд╕реЗ рд╡рд┐рд╢рд┐рд╖реНрдЯ рджреВрд░реА рдкрд░ рд╕реНрдерд┐рдд рднреМрдЧреЛрд▓рд┐рдХ рд╡рд┐рд╢реЗрд╖рддрд╛рдУрдВ рдХреА рдЦреЛрдЬ рдХрд░реЗрдВ
- рднреМрдЧреЛрд▓рд┐рдХ рд╕рддрд╣ рдЬрдЯрд┐рд▓ рд╕рддрд╣ рдмрд╣реБрднреБрдЬ рдХреЗ рд▓рд┐рдП Georeferencing
- рд╡рд░реНрдгрдирд╛рддреНрдордХ рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рд╡рд┐рд╢реНрд▓реЗрд╖рдг
- рд╢реНрд░реЗрдгреАрдмрджреНрдз рдЪрд░ рдХрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдФрд░ рдкрд░рд┐рдгрд╛рдореЛрдВ рдХрд╛ рджреГрд╢реНрдп
- рд╕рд╣рд╕рдВрдмрдВрдз рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдФрд░ рдкрд░рд┐рдгрд╛рдореЛрдВ рдХрд╛ рджреГрд╢реНрдп
- рдХреЗ-рдореАрди рдХреНрд▓рд╕реНрдЯрд░рд┐рдВрдЧ рдФрд░ рдХреЛрд╣рдиреА рд╡рд┐рдзрд┐ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рд╡рд┐рднрд╛рдЬрди
- рдЧреБрдЪреНрдЫреЛрдВ рдХрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдФрд░ рджреГрд╢реНрдп
рдкреНрд░рдорд╛рдгрди рдХреЗ рджреМрд░рд╛рди, 9 рдкрд╛рдареНрдпрдХреНрд░рдореЛрдВ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рдереА:
3 .
┬лPython for Data Science and AI┬╗ ┬лDatabases and SQL for Data Science┬╗ , .
┬лData Analysis with Python┬╗, ┬лData Visualization with Python┬╗, ┬лMachine Learning with Python┬╗ . Python.
Applied Data Science Capstone тАУ , Python, .
Applied Data Science Capstone.
тАФ Github.
тАФ 700 .
.
Python
1. Introduction
1.1 Background
тАФ 12 . 2561.5 ┬▓, 4924.96 /┬▓ 1.
12 (125 , 2 , 19 ) 30429 /┬▓ "", 560 /┬▓ "" 2.
68,768 /┬▓ "" 438,568 /┬▓ "" 3.
1.2 Business Problem
, , , . () .
, , , .
, , , .
:
2. Data acquisition and cleaning
2.2. Data requirements
, :
, :
GEOJSON
( , , ...),
2.3. Describe data sources
HTML .
Nominatim. , , , .
GEOJSON
( , ..) Foursquare API. , . 100 1000 . :
- , 100 .
- , Foursquare API .
- , Foursquare API ( )
- .
2.4. Describe data cleansing
HTML , . :
- ' \n\t', ' ', ''
- "" ""
- float int
146 :
- Borough_Name тАФ тАФ
- District_Name тАФ ,
- Borough_Type тАФ
- OKATO_Borough_Code тАФ OKATO
- OKTMO_District_Code тАФ OKTMO
- Borough_Area тАФ
- Borough_Population тАФ
- Borough_Population_Density тАФ
- Borough_Housing_Area тАФ .
- Borough_Housing_Area_Per_Person тАФ
- Borough_Housing_Price тАФ
.

Nominatim, , ( 10 ) .
. , Foursquare API.

, ( , , ...), , . 28 000 .
. Foursquare API.

Forsquare API, 34460 ( , , ...) 7899 .
(350 ) , (300 ), .
27622 28 000 .
, , . GEOJSON .
, , .
, .
20864 ( , , ...), 120 . .
.

" " " ".

3. Methodology
:
:
, . .
3.1. Exploratory Data Analysis
:
- District_Name тАФ ,
- Borough_Area тАФ
- Borough_Population тАФ
- Borough_Population_Density тАФ
- Borough_Housing_Area тАФ .
- Borough_Housing_Price тАФ
.

, 12 194 253 943 .
109 421 /┬▓ 438 568 /┬▓.
District_Name Borough_Population. , District_Name , , ┬л┬╗, ┬л┬╗, ┬л┬╗ ┬л┬╗.

District_Name Borough_Housing_Price. , , District_Name .

.
.
. (p-value):
- p-value < 0.001: ,
- p-value is < 0.05: ,
- p-value is < 0.1: ,
- p-value is > 0.1: ,


- Borough_Area, Borough_Population_Density Borough_Population ,
- Borough_Housing_Area Borough_Population ,
- Borough_Area, Borough_Population_Density, Borough_Housing_Area Borough_Housing_Price ,
- Borough_Area Borough_Population_Density ,
3.2. Clustering
, , .
, K-Means Elbow , , .
Elbow , ( 1 10). (distortion) (inertia).
Distortion Inertia .
(elbows) 3 5 .
3- .


, K-Means , :

:
- "0" тАФ (78538 ), (173695 /┬▓) (10328 /┬▓)
- "1" тАФ (153187 ), (160741 /┬▓) (13312 /┬▓)
- "2" тАФ (79805 ), (333794 /┬▓) (10533 /┬▓)
"1" :
boxplot .


(choropleth map)
, "1" .
, .

4. Result
:
- :
- ,
- (heat map) (choropleth map)
.
.

20864 ( , , ...), 928 "Gym / Fitness Center", 259 .
.

(heat map) (choropleth map) (HTML zip ) Interactive map
.



5. Discussion
:
, :
- GEOJSON
- ( , , ...),
, GitHub .csv .
K-Means Elbow . Distortion Inertia , 3- . 5 , .
.
рдкреНрд░рддрд┐рд╕реНрдкрд░реНрдзреА рдлрд┐рдЯрдиреЗрд╕ рд╕реБрд╡рд┐рдзрд╛рдУрдВ рдХреА рдирд┐рдХрдЯрддрд╛ рдХрд╛ рдирд┐рд░реНрдзрд╛рд░рдг рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рдПрдХ рдЗрдВрдЯрд░реИрдХреНрдЯрд┐рд╡ рдерд░реНрдорд▓ рднреМрдЧреЛрд▓рд┐рдХ рдорд╛рдирдЪрд┐рддреНрд░ рдкрд░ рдлрд┐рдЯрдиреЗрд╕ рд╕реЗрдВрдЯрд░ рдкреНрд░рджрд░реНрд╢рд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдПрдХ рджреГрд╖реНрдЯрд┐рдХреЛрдг рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЧрдпрд╛ рдерд╛ред рдЗрд╕ рджреГрд╖реНрдЯрд┐рдХреЛрдг рдиреЗ рд╣рдореЗрдВ рдкреНрд░рддреНрдпреЗрдХ рдХреНрд╖реЗрддреНрд░ рдореЗрдВ рдореМрдЬреВрджрд╛ рдлрд┐рдЯрдиреЗрд╕ рдХреЗрдВрджреНрд░реЛрдВ рдХреА рдирд┐рдХрдЯрддрд╛ рдХрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░рдиреЗ рдФрд░ рдХрдо рдШрдирддреНрд╡ рд╡рд╛рд▓реЗ рдХреНрд╖реЗрддреНрд░реЛрдВ рдХреА рдкрд╣рдЪрд╛рди рдХрд░рдиреЗ рдХреА рдЕрдиреБрдорддрд┐ рджреАред
рдкреНрд░рд╛рдкреНрдд рдЖрдВрдХрдбрд╝реЛрдВ рдХреЗ рдЖрдзрд╛рд░ рдкрд░, рдлрд┐рдЯрдиреЗрд╕ рдСрдмреНрдЬреЗрдХреНрдЯреНрд╕ рдХреЗ рд╢реНрд░реЗрдгреАрдмрджреНрдз рд╡рд┐рднрд╛рдЬрди рдФрд░ рдирдП рдлрд┐рдЯрдиреЗрд╕ рд╕реЗрдВрдЯрд░реЛрдВ рдХреЗ рд▓рд┐рдП рдЕрдиреБрд╢рдВрд╕рд┐рдд рд╕реНрдерд╛рдиреЛрдВ рдХреА рд╕реНрд╡рдЪрд╛рд▓рд┐рдд рдЧрдгрдирд╛ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдПрдХ рдЕрддрд┐рд░рд┐рдХреНрдд рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ, рдкреНрд░рддрд┐рд╕реНрдкрд░реНрдзрд╛ рдлрд┐рдЯрдиреЗрд╕ рдСрдмреНрдЬреЗрдХреНрдЯреНрд╕ рдХреЗ рдШрдирддреНрд╡ рдХреЛ рдзреНрдпрд╛рди рдореЗрдВ рд░рдЦрддреЗ рд╣реБрдПред