OpenStreetMap Public Dataset en Google Cloud Platform con BigQuery SQL. Clasificador de capa OSM

Debido al creciente interés público en el análisis y la visualización de varios modelos espaciales (por ejemplo, para estudiar la propagación de virus), recordé uno de los proyectos en los que estaba trabajando en la plataforma independiente Upwork. Este trabajo fue encargado por Google y consistió en crear un conjunto de datos público de OpenStreetMap (OSM) en Google Cloud Platform para trabajar con él usando Google BigQuery y crear algunos ejemplos de análisis de datos de OpenStreetMap (ver Python Jupyter Notebooks en el repositorio). Mi parte del proyecto fue trabajar con datos; quien quiera ver el código de inmediato - bienvenido a mi repositorio git bigquery-openstreetmap. Además, le diré cuáles son las ventajas del conjunto de datos creado (pista: el clasificador SQL está implementado y disponible) y cómo se puede usar.


Mensaje a los lectores: por favor no duden en hablar de Upwork en particular y de manera independiente en su totalidad en los comentarios, bueno, cansados ​​de eso, la palabra correcta ... hay diferentes proyectos allí.


Análisis de patrones de uso de carreteras, área de Boston


Resultados del análisis de la red de carreteras de Boston de OpenStreetMap Las carreteras con alta centralidad de intermediación (a. C.) se resaltan en rojo, las calles con alta a. C. son altas en verde, la baja a. C. es alta en amarillo y la baja en gris.


En lugar de presentar


Si hay tiempo e interés en el tema de trabajar con OSM, podría hablar sobre la creación de enrutamiento complejo utilizando PostgreSQL / PostGIS / PgRouting: cómo proporcionar asistencia vial unidireccional para el problema del vendedor ambulante, TSP), , ( ) — OSM. ( , , ) — 5-10 ( ), ( 100) , ("") . , SQLite3 Spatialite ( PostgreSQL/PostGIS/PgRouting) PostgreSQL/PostGIS .


OpenStreetMap


OpenStreetMap:


OpenStreetMap ( « »), OSM- .

, OSM , . , , — OSM . , Google Maps API/Bing Maps API , , ( , , ). , OSM . , , , ( , , , , ...), , - OSM , - , . , , , OpenStreetMap License.


OpenStreetMap , , . , OSM ( ) — , ( : ). OSM ("OSM uses different database schemas for different applications"). , - ( web database schema) (, , ). "" "" 10 , (Simple schema for Osmosis) — ( ). : Database Schemas , :


Schema nameCreated withUpdatableGeometries (PostGIS)Losslesshstore columnsDatabase
pgsnapshotosmosisyesoptionalyesyesPostgreSQL
ogr2ogrogr2ogrnoyesnooptionalvarious
overpassOverpass APIyes?yes?custom
mongosmMongOSMmaybe???MongoDB
node-mongosmMongoosejsyesyesyesNAMongoDB
goosmgoosmnoyesyesNAMongoDB
pbf2mongopbf2mongonoyesyesNAMongoDB

ogr2ogr , . , , , PostgreSQL/PostGIS. pgsnapshot, osmosis — - , , ogr2ogr. verpass ( web API) . , MongoDB, "" , .


(ogr2ogr) ogr2ogr (osmconf.ini). , , , — , ( ), ( , ). OSM — , ( "relation") ( "node"). , , . . ogr2ogr , . osmconf.ini


OSM . — , … — , OSM , , , — ( ). , . " " — OSM wiki , ( , , , ). , OpenStreetMap Data in Layered GIS Format GEOFABRIK. , OSM, , , BigQuery SQL .


, "" ogr2ogr OSM GEOFABRIK. OpenStreetMap Public Dataset Google BigQuery ( SQL). , OSM — OSM bigquery-openstreetmap.



- , BigQuery SQL . , SQL . , — OSM , . " " , ("ignore incorrect geometries with wrong orientation (see GeoJSON RFC 7946)"). CSV .


Computadora portátil con un ejemplo de cálculo y animación de la distancia de los edificios al parque más cercano en parques de la ciudad de Nueva York2buildings_distance_NY.ipynb :



Una computadora portátil con un ejemplo de cálculo y animación de la distancia de los edificios al parque más cercano en los parques de la ciudad de Tokio2buildings_distance_Tokyo.ipynb :



Para aquellos que han leído, vea la computadora portátil Los resultados del análisis de la red de carreteras de la ciudad de Boston como un ejemplo de trabajo directo con datos OSM, y esto también es posible.


All Articles