OpenStreetMap Public Dataset di Google Cloud Platform dengan BigQuery SQL. Lapisan OSM

Karena meningkatnya minat masyarakat dalam analisis dan visualisasi berbagai model spasial (misalnya, untuk mempelajari penyebaran virus), saya mengingat salah satu proyek yang saya kerjakan pada platform freelance Upwork. Pekerjaan ini ditugaskan oleh Google dan terdiri dari pembuatan dataset OpenStreetMap (OSM) publik di Google Cloud Platform untuk bekerja dengannya menggunakan Google BigQuery dan membuat beberapa contoh analisis data OpenStreetMap (lihat Notebook Python Jupyter di repositori). Bagian saya dari proyek ini bekerja dengan data; siapa pun yang ingin melihat kode segera - selamat datang di repositori git bigquery-openstreetmap saya. Selanjutnya saya akan memberi tahu Anda apa kelebihan dataset yang dibuat (petunjuk: SQL classifier diimplementasikan dan tersedia) dan bagaimana ia dapat digunakan.


Pesan untuk pembaca: jangan ragu untuk membahas Upwork, khususnya, dan lepas dalam komentar, tapi saya bosan, kata yang tepat ... ada berbagai proyek di sana.


Analisis Pola Penggunaan Jalan, Area Boston


Hasil Analisis Jaringan Boston Road dari OpenStreetMap Jalan raya dengan sentralitas Antara tinggi (bc) disorot dalam warna merah, jalan-jalan dengan bc tinggi disorot dalam warna hijau, rendah bc disorot dalam warna kuning, dan jalan-jalan dengan bc rendah berwarna abu-abu.


Alih-alih memperkenalkan


Jika ada waktu dan minat pada topik bekerja dengan OSM, saya bisa berbicara tentang membangun rute kompleks menggunakan PostgreSQL / PostGIS / PgRouting - bagaimana memberikan dukungan jalan searah untuk masalah salesman keliling , TSP), , ( ) β€” OSM. ( , , ) β€” 5-10 ( ), ( 100) , ("") . , SQLite3 Spatialite ( PostgreSQL/PostGIS/PgRouting) PostgreSQL/PostGIS .


OpenStreetMap


OpenStreetMap:


OpenStreetMap ( Β« Β»), OSM β€” - β€” .

, OSM , . , , β€” OSM . , Google Maps API/Bing Maps API , , ( , , ). , OSM . , , , ( , , , , ...), , - OSM , - , . , , , OpenStreetMap License.


OpenStreetMap , , . , OSM ( ) β€” , ( : ). OSM ("OSM uses different database schemas for different applications"). , - ( web database schema) (, , ). "" "" 10 , (Simple schema for Osmosis) β€” ( ). : Database Schemas , :


Schema nameCreated withUpdatableGeometries (PostGIS)Losslesshstore columnsDatabase
pgsnapshotosmosisyesoptionalyesyesPostgreSQL
ogr2ogrogr2ogrnoyesnooptionalvarious
overpassOverpass APIyes?yes?custom
mongosmMongOSMmaybe???MongoDB
node-mongosmMongoosejsyesyesyesNAMongoDB
goosmgoosmnoyesyesNAMongoDB
pbf2mongopbf2mongonoyesyesNAMongoDB

ogr2ogr , . , , , PostgreSQL/PostGIS. pgsnapshot, osmosis β€” - , , ogr2ogr. verpass ( web API) . , MongoDB, "" , .


(ogr2ogr) ogr2ogr (osmconf.ini). , , , β€” , ( ), ( , ). OSM β€” , ( "relation") ( "node"). , , . . ogr2ogr , . osmconf.ini


OSM . β€” , … β€” , OSM , , , β€” ( ). , . " " β€” OSM wiki , ( , , , ). , OpenStreetMap Data in Layered GIS Format GEOFABRIK. , OSM, , , BigQuery SQL .


, "" ogr2ogr OSM GEOFABRIK. OpenStreetMap Public Dataset Google BigQuery ( SQL). , OSM β€” OSM bigquery-openstreetmap.



- , BigQuery SQL . , SQL . , β€” OSM , . " " , ("ignore incorrect geometries with wrong orientation (see GeoJSON RFC 7946)"). CSV .


Notebook dengan contoh penghitungan dan animasi jarak bangunan ke taman terdekat di taman kota New York2buildings_distance_NY.ipynb :



Laptop dengan contoh penghitungan dan animasi jarak bangunan ke taman terdekat di Tokyo park2buildings_distance_Tokyo.ipynb :



Bagi mereka yang telah membaca - melihat laptop Hasil analisis jaringan jalan kota Boston sebagai contoh bekerja langsung dengan data OSM - dan ini juga memungkinkan.


All Articles