Cómo el ingeniero de datos observó los datos

• Decenas de millones de registros de transacciones diarias;
  
• Miles de millones de entradas en el mercado diariamente (cotizaciones, etc.);
  
• La heterogeneidad de las fuentes de datos (como fuentes externas de Market Data, diferentes plataformas de negociación);
  
• Proporcionar exactamente una vez la semántica para datos importantes (transacciones financieras);
  
• Asegurar la integridad e integridad de los datos;
  
• Brindando garantías de que durante el tiempo estipulado la transacción se agregará a todas las tablas y agregados necesarios.
  

SELECT server, 
       avg(updated - close_time) 
FROM   trades 
WHERE  close_time > subtractHours(Now(), 2) 
GROUP  BY server

SELECT SUM(count) FROM (
   SELECT
      COUNT(*) AS count
   FROM trades
   GROUP BY order_id
   HAVING count > 1
)

• Soporte para varias fuentes de datos (bases de datos, colas, solicitudes http);
  
• ; 
  
• ( , );
  
• .
  

Características nerviosas

Este es un servicio que ejecuta tareas programadas, heterogéneas y personalizadas para recopilar valores numéricos, y presenta los resultados como métricas para diferentes sistemas de recopilación de métricas.

• Soporte para diferentes tipos de tareas: Consulta, CompareQueries, etc.
  
• La capacidad de escribir sus tipos de tareas en Python como un complemento de tiempo de ejecución;
  
• Trabaja con diferentes tipos de recursos: Clickhouse, Postgres, etc.
  
• Modelo de métricas de datos, como en prometeo
  metric_name{label="value"} 123.3 ;
  
• pull prometheus;
  
• : crontab-style;
  
• WEB UI ;
  
• yaml ;
  
• Twelve-Factor App. 
  

tasks:
  - name: TaskA
    type: Query
    resources: DbCon1
    period: 1m
    config:
      query: SELECT COUNT(*) FROM ticks
      gauge: metric_count{table="ticks"}

  - name: TaskB
    type: Garcon
    period: 10m
    config:
      url: "http://hostname:9003/api/v1/orders/backups/"
      gauge: backup_ago

  - name: TaskC
    type: Query
    period: "*/5 * * * *"
    resources: DbCon1
    config:
      query: SELECT now() - toDateTime(time_msc/1000)
   FROM deals WHERE trade_server= 'Real'
   ORDER BY deal DESC LIMIT 1
      gauge: orders_lag

resources:
  - name: DbCon1
    type: Clickhouse
    config:
      host: clickhouse.env
      port: 9000
      user: readonly
      password: "***"
      database: data

results:
  common_labels:
    env="prod"
task_types_paths:
  - "./tasks"

Que pasó