Get best of the week

Exportación del plan de numeración de la Agencia Federal de Comunicaciones a una base de datos relacional

La Agencia Federal de Comunicaciones actualiza periódicamente el plan de numeración disponible al público . Si utiliza este plan para determinar la región o el proveedor del suscriptor en su plan de marcado, lo más probable es que esté interesado en la relevancia de esta información. A primera vista, no hay nada complicado en escribir una aplicación que descargue, procese y envíe datos a la base de datos, pero cuando comience a implementarla, inevitablemente se encontrará con dificultades, de las que hablaré ahora.

El plan de marcado consta de cuatro archivos tabulares en formato csv:

rossvyaz.ru/data/ABC-3xx.csv
rossvyaz.ru/data/ABC-4xx.csv
rossvyaz.ru/data/ABC-8xx.csv
rossvyaz.ru/data/ Las

URL de DEF-9xx.csv a veces cambian.

La estructura de todas las tablas es la misma:

/ DEF;;;;;

En el campo Región , algunos proveedores tienen punto y coma extra:

 ; | ;

Para evitar errores al leer la tabla de su aplicación, debe deshabilitar la comprobación del número esperado de campos o reemplazar el registro incorrecto con el correcto.

Vamos a escribir datos en una tabla con la siguiente estructura:

first BIGINT PRIMARY KEY NOT NULL  //  
last BIGINT UNIQUE NOT NULL        //  
provider TEXT                      // 
source_region TEXT                 //        
region INT NOT NULL                //

La mayoría de las regiones en las tablas se pueden identificar inequívocamente por la aparición de una subcadena. Por ejemplo, todas las entradas para la región de Saratov contienen la subcadena Sarat .

Para aquellas regiones que no pueden determinarse sin ambigüedades, se necesita lógica adicional, sobre esto a continuación.

Ejemplo 1:

  • Okrug autónomo de Yamal-Nenets
  • Nenets Autonomous Okrug

El Okrug autónomo de Yamalo-Nenets es parte de la región de Tyumen, y el Okrug autónomo de Nenets es parte de Arkhangelsk. El problema de determinar el código numérico de una región es que la subcadena Nenets AO está completamente incluida en el AO de Yamalo-Nenets . Esto significa que dos regiones corresponderán a las entradas que contienen la subcadena del Área Autónoma de Nenets .

Para resolver este problema, debe agregar una verificación de ausencia de una subcadena (excluyendo la subcadena). En otras palabras, el Okrug autónomo de Yamalo-Nenets estará determinado por la entrada de Yamalo , y el Okrug autónomo de Nenets por la entrada de Nenets y la ausencia de Yamalo .

Ejemplo 2

  • Vamos. Krasnogorsk
  • Lyantor
  • Partza

Un ejemplo de regiones no identificadas. Hay muchos de esos registros en las tablas de Rossvyaz. Buscador ayuda a descubrir que GO Krasnogorsk - región de Moscú, Lyantor - el Okrug autónomo de Khanty-Mansi, y el asentamiento de Partz - la República de Mordovia. La solución es simple, la subcadena deseada se convierte en una matriz de cadenas y comprobaremos la aparición en un bucle. La subcadena exclusiva también se convierte en una matriz.

Ejemplo 3

  • Distrito Federal de Siberia, Distrito Federal del Lejano Oriente
  • Territorio de Krasnoyarsk, República de Khakassia, Moscú, San Petersburgo
  • La Federación Rusa

En este ejemplo, no es posible identificar de forma exclusiva una región. Puede elegir el más poblado de los listados o asignar un código especial a dichos registros. De hecho, todos los registros que corresponden a varias regiones son los números 8-80 [0-9], números federales por los que no se cobran las llamadas. Asigné códigos a dichos registros en el rango de 200 a 210. No creo que alguna vez me sean útiles.

El código de la aplicación se puede encontrar aquí .
Los archivos ejecutables para plataformas Linux, Macos y Windows se encuentran en el directorio bin (no probé la aplicación en la plataforma Windows). Archivo de

configuración Config.ymldebe estar en el mismo directorio que el archivo ejecutable. Si lo desea, puede implementar el soporte de marca en la aplicación para indicar la ruta a la configuración en los argumentos de la línea de comandos, las solicitudes de extracción son bienvenidas.

Archivo de configuración
data_source:
  - https://rossvyaz.ru/data/ABC-3xx.csv
  - https://rossvyaz.ru/data/ABC-4xx.csv
  - https://rossvyaz.ru/data/ABC-8xx.csv
  - https://rossvyaz.ru/data/DEF-9xx.csv
#  - ../service/testdata/ABC-3xx.csv
#  - ../service/testdata/ABC-4xx.csv
#  - ../service/testdata/ABC-8xx.csv
#  - ../service/testdata/DEF-9xx.csv
exceptions: exceptions.yml
regions: regions.yml
db:
  host: localhost
  name: asterisk
  table: codes
  user: asterisk
  password: asterisk


El campo data_source contiene las rutas a los archivos de la tabla Rossvyaz. Si la ruta comienza con http , la aplicación cargará la tabla utilizando el cliente web incorporado; de lo contrario, intentará encontrar la tabla en el sistema de archivos.

Presta atención a las líneas comentadas. Estas son las rutas a los archivos de la tabla Rossvyaz almacenados en el repositorio. Si no tiene la conexión a Internet más rápida, el inicio de cada aplicación descargará estos archivos nuevamente. Para una aplicación más rápida, descomente estas líneas y comente los hipervínculos. Es posible que deba ejecutar la aplicación con más frecuencia de lo que piensa, más adelante explicaré por qué usar un ejemplo.

Campos excepciones y regionescontienen rutas a archivos con correcciones y una descripción de las regiones. Sobre ellos un poco más tarde.

La sección db describe los parámetros para conectarse al DBMS MySQL. Para usar otro DBMS, debe reemplazar el controlador en el código y la plantilla de cadena de conexión en el constructor de la estructura de Servicio

db, err := dbr.Open("mysql",
		fmt.Sprintf("%s:%s@tcp(%s)/%s", c.DB.User, c.DB.Password, c.DB.Host, c.DB.Name),
		nil)

Sin embargo, no hay nada complicado en agregar un campo de tipo DBMS a la configuración y agregar soporte para estos tipos a la aplicación, las solicitudes de extracción son bienvenidas nuevamente.

El archivo exceptions.yml contiene una lista de correcciones. Todas las coincidencias de subcadenas en exceptions.yml antes de los dos puntos encontrados en los archivos de la tabla de Rossvyaz serán reemplazadas por subcadenas después de los dos puntos.

El archivo region.yml contiene una lista de códigos numéricos de regiones con matrices de ocurrencias y excluyendo subcadenas utilizadas para determinar una región específica. Si no se encuentra ningún registro para ningún registro o hay dos o más coincidencias, este registro irá a la base de datos, pero el campo de región contendrá el valor 0 (la región no está definida).

Ejemplo de descripción de región
78:
  name: -
  contain:
    - 
    - 
    - .. 
  not_contain:
    -


Antes de iniciar la aplicación, cree una base de datos con el nombre especificado en db.name y asegúrese de que el usuario especificado en db.user tenga permisos de lectura y escritura.

Entonces, hemos configurado todo, es hora de iniciar la aplicación.

Tenga en cuenta que durante el inicio, la tabla especificada en el campo db.table del archivo de configuración se borrará, tenga cuidado.

./def2sql

Si no hay errores y advertencias, verá una salida similar
correct records amount: 372324
inserted 372324 records


De lo contrario, verá un informe con errores y advertencias.
correct records amount: 372324
inserted 372324 records
{
    "unknown_regions": [
        {
            "First": 3424333950,
            "Last": 3424333999,
            "Range": 50,
            "Provider": " \"\"",
            "SourceRegion": ".. ",
            "Region": 0
        },
        {
            "First": 3424820000,
            "Last": 3424820049,
            "Range": 50,
            "Provider": " \"\"",
            "SourceRegion": ".. ",
            "Region": 0
        },
        {
            "First": 3425425000,
            "Last": 3425425049,
            "Range": 50,
            "Provider": " \"\"",
            "SourceRegion": ".. ",
            "Region": 0
        },
        {
            "First": 3425620000,
            "Last": 3425620049,
            "Range": 50,
            "Provider": " \"\"",
            "SourceRegion": ".. ",
            "Region": 0
        },
        {
            "First": 3426050000,
            "Last": 3426050050,
            "Range": 51,
            "Provider": " \"\"",
            "SourceRegion": ".. ",
            "Region": 0
        },
        {
            "First": 3427399950,
            "Last": 3427399999,
            "Range": 50,
            "Provider": " \"\"",
            "SourceRegion": ".. ",
            "Region": 0
        },
        {
            "First": 4217523500,
            "Last": 4217523999,
            "Range": 500,
            "Provider": " \" \"\"",
            "SourceRegion": " ",
            "Region": 0
        },
        {
            "First": 4217526000,
            "Last": 4217526999,
            "Range": 1000,
            "Provider": " \" \"\"",
            "SourceRegion": " ",
            "Region": 0
        },
        {
            "First": 8003550000,
            "Last": 8003559999,
            "Range": 10000,
            "Provider": " \" \" ( 2460087999)",
            "SourceRegion": "  *   * .  * . -",
            "Region": 0
        },
        {
            "First": 8003810000,
            "Last": 8003819999,
            "Range": 10000,
            "Provider": " \"\"",
            "SourceRegion": "   *   ",
            "Region": 0
        },
        {
            "First": 8013810000,
            "Last": 8013819999,
            "Range": 10000,
            "Provider": " \"\"",
            "SourceRegion": "   *   ",
            "Region": 0
        },
        {
            "First": 8023810000,
            "Last": 8023819999,
            "Range": 10000,
            "Provider": " \"\"",
            "SourceRegion": "   *   ",
            "Region": 0
        },
        {
            "First": 8031010000,
            "Last": 8031019999,
            "Range": 10000,
            "Provider": " \"\"",
            "SourceRegion": "   *   ",
            "Region": 0
        },
        {
            "First": 8033550000,
            "Last": 8033559999,
            "Range": 10000,
            "Provider": " \" \" ( 2460087999)",
            "SourceRegion": "  *   * .  * . -",
            "Region": 0
        },
        {
            "First": 8033810000,
            "Last": 8033819999,
            "Range": 10000,
            "Provider": " \"\"",
            "SourceRegion": "   *   ",
            "Region": 0
        },
        {
            "First": 8041010000,
            "Last": 8041019999,
            "Range": 10000,
            "Provider": " \"\"",
            "SourceRegion": "   *   ",
            "Region": 0
        },
        {
            "First": 8043810000,
            "Last": 8043819999,
            "Range": 10000,
            "Provider": " \"\"",
            "SourceRegion": "   *   ",
            "Region": 0
        },
        {
            "First": 8051010000,
            "Last": 8051019999,
            "Range": 10000,
            "Provider": " \"\"",
            "SourceRegion": "   *   ",
            "Region": 0
        },
        {
            "First": 8053810000,
            "Last": 8053819999,
            "Range": 10000,
            "Provider": " \"\"",
            "SourceRegion": "   *   ",
            "Region": 0
        },
        {
            "First": 8063810000,
            "Last": 8063819999,
            "Range": 10000,
            "Provider": " \"\"",
            "SourceRegion": "   *   ",
            "Region": 0
        },
        {
            "First": 8073810000,
            "Last": 8073819999,
            "Range": 10000,
            "Provider": " \"\"",
            "SourceRegion": "   *   ",
            "Region": 0
        },
        {
            "First": 8083810000,
            "Last": 8083819999,
            "Range": 10000,
            "Provider": " \"\"",
            "SourceRegion": "   *   ",
            "Region": 0
        },
        {
            "First": 8091010000,
            "Last": 8091019999,
            "Range": 10000,
            "Provider": " \"\"",
            "SourceRegion": "   *   ",
            "Region": 0
        },
        {
            "First": 8093550000,
            "Last": 8093559999,
            "Range": 10000,
            "Provider": " \" \" ( 2460087999)",
            "SourceRegion": "  *   * .  * . -",
            "Region": 0
        },
        {
            "First": 8093810000,
            "Last": 8093819999,
            "Range": 10000,
            "Provider": " \"\"",
            "SourceRegion": "   *   ",
            "Region": 0
        },
        {
            "First": 9512780000,
            "Last": 9512789999,
            "Range": 10000,
            "Provider": " \"2 \"",
            "SourceRegion": "  *  |  *  ",
            "Region": 0
        },
        {
            "First": 9963000000,
            "Last": 9963029999,
            "Range": 30000,
            "Provider": " \"2 \"",
            "SourceRegion": "  *  |  *  ",
            "Region": 0
        }
    ],
    "warnings": [
        "couldn't find region for record (3424333950-3424333999;  \"\", .. )",
        "couldn't find region for record (3424820000-3424820049;  \"\", .. )",
        "couldn't find region for record (3425425000-3425425049;  \"\", .. )",
        "couldn't find region for record (3425620000-3425620049;  \"\", .. )",
        "couldn't find region for record (3426050000-3426050050;  \"\", .. )",
        "couldn't find region for record (3427399950-3427399999;  \"\", .. )",
        "couldn't find region for record (4217523500-4217523999;  \" \"\",  )",
        "couldn't find region for record (4217526000-4217526999;  \" \"\",  )",
        "couldn't find region for record (8003550000-8003559999;  \" \" ( 2460087999),   *   * .  * . -)",
initial commit
        "couldn't find region for record (8003810000-8003819999;  \"\",    *   )",
        "couldn't find region for record (8013810000-8013819999;  \"\",    *   )",
        "couldn't find region for record (8023810000-8023819999;  \"\",    *   )",
        "couldn't find region for record (8031010000-8031019999;  \"\",    *   )",
        "couldn't find region for record (8033550000-8033559999;  \" \" ( 2460087999),   *   * .  * . -)",
        "couldn't find region for record (8033810000-8033819999;  \"\",    *   )",
        "couldn't find region for record (8041010000-8041019999;  \"\",    *   )",
        "couldn't find region for record (8043810000-8043819999;  \"\",    *   )",
        "couldn't find region for record (8051010000-8051019999;  \"\",    *   )",
        "couldn't find region for record (8053810000-8053819999;  \"\",    *   )",
        "couldn't find region for record (8063810000-8063819999;  \"\",    *   )",
        "couldn't find region for record (8073810000-8073819999;  \"\",    *   )",
        "couldn't find region for record (8083810000-8083819999;  \"\",    *   )",
        "couldn't find region for record (8091010000-8091019999;  \"\",    *   )",
        "couldn't find region for record (8093550000-8093559999;  \" \" ( 2460087999),   *   * .  * . -)",
        "couldn't find region for record (8093810000-8093819999;  \"\",    *   )",
        "couldn't find region for record (9512780000-9512789999;  \"2 \",   *  |  *  )",
        "couldn't find region for record (9963000000-9963029999;  \"2 \",   *  |  *  )"
    ]
}


El informe contiene varias secciones.

regiones_desconocidas : una lista de registros que no corresponden a regiones, o su número es más de uno;
wrong_records : lista de entradas no válidas en la tabla Rossvyaz;
advertencias : una lista de advertencias que ocurrieron mientras se ejecutaba la aplicación;

El informe bajo el último spoiler que recibí durante el lanzamiento de la aplicación aproximadamente un mes después de las últimas ediciones de region.yml .

Versión desactualizada de region.yml
1:
  name:   ()
  contain:
    - 
2:
  name:  
  contain:
    - 
    -   
3:
  name:  
  contain:
    - 
4:
  name:  
  contain:
    -  
5:
  name:  
  contain:
    - 
6:
  name:  
  contain:
    - 
7:
  name: - 
  contain:
    - -
8:
  name:  
  contain:
    - 
9:
  name: - 
  contain:
    - 
10:
  name:  
  contain:
    - 
    - .. 
11:
  name:  
  contain:
    - 
12:
  name:   
  contain:
    - 
13:
  name:  
  contain:
    - 
    - . 
14:
  name:   ()
  contain:
    - 
    - 
15:
  name:    - 
  contain:
    - 
16:
  name:   ()
  contain:
    - 
    - 
    - 
17:
  name:  
  contain:
    - 
18:
  name:  
  contain:
    - 
    - . 
19:
  name:  
  contain:
    - 
  not_contain:
    - 
20:
  name:  
  contain:
    -  
    - 
    -  
21:
  name:   - 
  contain:
    -  
    - 
22:
  name:  
  contain:
    -  
23:
  name:  
  contain:
    - 
24:
  name:  
  contain:
    -  
  not_contain:
    - 
25:
  name:  
  contain:
    -  
26:
  name:  
  contain:
    -  
27:
  name:  
  contain:
    - 
28:
  name:  
  contain:
    - 
29:
  name:  
  contain:
    - 
    - 
  not_contain:
    - 
    - 
30:
  name:  
  contain:
    - 
31:
  name:  
  contain:
    - 
32:
  name:  
  contain:
    - 
33:
  name:  
  contain:
    - 
34:
  name:  
  contain:
    - 
35:
  name:  
  contain:
    - 
36:
  name:  
  contain:
    - 
    - .. 
37:
  name:  
  contain:
    - 
    - .. 
    - .. 
38:
  name:  
  contain:
    - 
39:
  name:  
  contain:
    - 
40:
  name:  
  contain:
    - 
41:
  name:  
  contain:
    - 
42:
  name:  
  contain:
    - 
43:
  name:  
  contain:
    - 
44:
  name:  
  contain:
    - 
45:
  name:  
  contain:
    - 
46:
  name:  
  contain:
    - 
#47:
#  name:  
#  contain:
#    - 
48:
  name:  
  contain:
    - 
49:
  name:  
  contain:
    - 
#50:
#  name:  
#  contain:
#    - 
51:
  name:  
  contain:
    - 
52:
  name:  
  contain:
    - 
53:
  name:  
  contain:
    - 
54:
  name:  
  contain:
    - 
    - . 
55:
  name:  
  contain:
    - 
    - . 
56:
  name:  
  contain:
    - 
57:
  name:  
  contain:
    - 
58:
  name:  
  contain:
    - 
59:
  name:  
  contain:
    - 
    - .. 
    -  -
    - - 
60:
  name:  
  contain:
    - 
61:
  name:  
  contain:
    - 
62:
  name:  
  contain:
    - 
63:
  name:  
  contain:
    - 
64:
  name:  
  contain:
    - 
65:
  name:  
  contain:
    - 
66:
  name:  
  contain:
    - 
67:
  name:  
  contain:
    - 
68:
  name:  
  contain:
    - 
69:
  name:  
  contain:
    - 
70:
  name:  
  contain:
    - 
71:
  name:  
  contain:
    - 
72:
  name:  
  contain:
    - 
73:
  name:  
  contain:
    - 
74:
  name:  
  contain:
    - 
    - .. 
    - .. 
75:
  name:  
  contain:
    - 
76:
  name:  
  contain:
    - 
77:
  name: . 
  contain:
    - 
    - 
    - 
    - 
    - .. 
    - .. 
    - .. 
    - .. 
    - .. 
    -    
    - .. 
    - .. 
    - .. 
    -  . 
    - . 
  not_contain:
    - 
78:
  name: -
  contain:
    - 
    - 
    - .. 
  not_contain:
    - 
79:
  name:   
  contain:
    - 
#83:
#  name:   
#  contain:
#    - 
86:
  name: -   - 
  contain:
    - 
    - 
    - 
    - 
    - 
    - . 
  not_contain:
    - 
87:
  name:   
  contain:
    - 
89:
  name: -  
  contain:
    - -
91:
  name:  
  contain:
    -  
    - 
    - 
#92:
#  name: 
#  contain:
#    - 
99:
  name:  ,     
  contain:
    - 

200:
  name:  
  contain:
    - 

201:
  name:   
  contain:
    -   
  not_contain:
    -   
202:
  name:   
  contain:
    -   
  not_contain:
    -   
203:
  name:   
  contain:
    -   
204:
  name:   
  contain:
    -   
  not_contain:
    -   
205:
  name:   
  contain:
    -   
  not_contain:
    -   
206:
  name: -  
  contain:
    - -  
207:
  name:   ,   
  contain:
    -   ,   
208:
  name:   ,   
  contain:
    -   ,   
209:
  name:  ,  , . , . -
  contain:
    -  ,  , . , . -


Para deshacerse de las advertencias y obtener códigos de región para todos los registros, debe editar region.yml .

versiones diff de region.yml
10d9
<     -  
245d243
<     -  
265,270d262
<     - .. 
<     - .. 
<     - .. 
<     - .. 
<     - .. 
<     - .. 
452d443
<     -    *   
457d447
<     -    *   
461,462c451
<     -  ,  , . , . -
<     -   *   * .  * . -
\ No newline at end of file
---
>     -  ,  , . , . -
\ No newline at end of file


Voila
correct records amount: 372324
inserted 372324 records


Como guinda del pastel, ofrezco la macro del plan de marcado Asterisk para determinar la región por número de suscriptor:

[macro-get-region]
        exten => s,1,MYSQL(Connect conn localhost user password dbname)
        exten => s,n,MYSQL(Query result ${conn} SELECT region FROM codes WHERE ${ARG1} BETWEEN first AND last LIMIT 1)
        exten => s,n,MYSQL(Fetch region ${result} region_num)
        exten => s,n,MYSQL(Clear ${result})
        exten => s,n,MYSQL(Disconnect ${conn})

Para los mismos propósitos, puede usar el script Lua:
local driver = require("luasql.mysql")
local env = assert (driver.mysql())
local con = assert (env:connect("dbname", "user", "password"))
local cur = assert (con:execute(string.format("select region from codes where %s between first and last limit 1", arg[1])))

row = cur:fetch ({}, "a")
if row ~= nil then
    print(row.region)
else
    print(0)
end

cur:close()
con:close()
env:close(

Sin embargo, cualquier herramienta que admita consultas SELECT a MySQL es adecuada.

Disfruta tu administración.

More articles:


All Articles