Jeu de données public OpenStreetMap sur Google Cloud Platform avec BigQuery SQL. Classificateur de couche OSM

En raison de l'intérêt croissant du public pour l'analyse et la visualisation de divers modèles spatiaux (par exemple, pour étudier la propagation des virus), j'ai rappelé l'un des projets sur lesquels je travaillais sur la plateforme indépendante Upwork. Ce travail a été commandé par Google et consistait à créer un ensemble de données OpenStreetMap (OSM) public sur la plateforme Google Cloud pour travailler avec lui à l'aide de Google BigQuery et à créer quelques exemples d'analyse de données OpenStreetMap (voir Python Jupyter Notebooks dans le référentiel). Ma partie du projet était de travailler avec des données; celui qui veut voir le code tout de suite - bienvenue dans mon dépôt git bigquery-openstreetmap. De plus, je vais vous dire quels sont les avantages de l'ensemble de données créé (indice: le classificateur SQL est implémenté et disponible) et comment il peut être utilisé.


Message aux lecteurs: n'hésitez pas à discuter d'Upwork, en particulier, et du freelance dans les commentaires, mais j'en ai marre, bon mot ... il y a différents projets là-bas.


Analyse des modèles d'utilisation des routes, région de Boston


Résultats de l'analyse du réseau routier de Boston à partir d'OpenStreetMap Les autoroutes à centralité élevée (bc) sont surlignées en rouge, les rues à haut bc sont surlignées en vert, low bc est surligné en jaune et les rues à bas bc sont grises.


Au lieu d'introduire


S'il y a du temps et de l'intérêt pour le sujet de travailler avec OSM, je pourrais parler de la création d'un routage complexe à l'aide de PostgreSQL / PostGIS / PgRouting - comment fournir un support routier unidirectionnel pour le problème du voyageur de commerce , TSP), , ( ) — OSM. ( , , ) — 5-10 ( ), ( 100) , ("") . , SQLite3 Spatialite ( PostgreSQL/PostGIS/PgRouting) PostgreSQL/PostGIS .


OpenStreetMap


OpenStreetMap:


OpenStreetMap ( « »), OSM — - — .

, OSM , . , , — OSM . , Google Maps API/Bing Maps API , , ( , , ). , OSM . , , , ( , , , , ...), , - OSM , - , . , , , OpenStreetMap License.


OpenStreetMap , , . , OSM ( ) — , ( : ). OSM ("OSM uses different database schemas for different applications"). , - ( web database schema) (, , ). "" "" 10 , (Simple schema for Osmosis) — ( ). : Database Schemas , :


Schema nameCreated withUpdatableGeometries (PostGIS)Losslesshstore columnsDatabase
pgsnapshotosmosisyesoptionalyesyesPostgreSQL
ogr2ogrogr2ogrnoyesnooptionalvarious
overpassOverpass APIyes?yes?custom
mongosmMongOSMmaybe???MongoDB
node-mongosmMongoosejsyesyesyesNAMongoDB
goosmgoosmnoyesyesNAMongoDB
pbf2mongopbf2mongonoyesyesNAMongoDB

ogr2ogr , . , , , PostgreSQL/PostGIS. pgsnapshot, osmosis — - , , ogr2ogr. verpass ( web API) . , MongoDB, "" , .


(ogr2ogr) ogr2ogr (osmconf.ini). , , , — , ( ), ( , ). OSM — , ( "relation") ( "node"). , , . . ogr2ogr , . osmconf.ini


OSM . — , … — , OSM , , , — ( ). , . " " — OSM wiki , ( , , , ). , OpenStreetMap Data in Layered GIS Format GEOFABRIK. , OSM, , , BigQuery SQL .


, "" ogr2ogr OSM GEOFABRIK. OpenStreetMap Public Dataset Google BigQuery ( SQL). , OSM — OSM bigquery-openstreetmap.



- , BigQuery SQL . , SQL . , — OSM , . " " , ("ignore incorrect geometries with wrong orientation (see GeoJSON RFC 7946)"). CSV .


Ordinateur portable avec un exemple de calcul et d'animation de la distance des bâtiments au parc le plus proche à New York city ​​parks2buildings_distance_NY.ipynb :



Un ordinateur portable avec un exemple de calcul et d'animation de la distance des bâtiments au parc le plus proche dans la ville de Tokyo parks2buildings_distance_Tokyo.ipynb :



Pour ceux qui ont lu - voir l'ordinateur portable.Les résultats de l'analyse du réseau routier de la ville de Boston comme exemple de travail direct avec les données OSM - et cela est également possible.


All Articles