Como o engenheiro de dados assistiu os dados

• Dezenas de milhões de registros de transações diariamente;
  
• Bilhões de entradas no mercado diariamente (cotações, etc.);
  
• A heterogeneidade das fontes de dados (como fontes externas de Dados de Mercado, diferentes plataformas de negociação);
  
• Fornecer exatamente uma vez a semântica para dados importantes (transações financeiras);
  
• Garantir a integridade e integridade dos dados;
  
• Fornecendo garantias de que, durante o tempo estipulado, a transação será adicionada a todas as tabelas e agregados necessários.
  

SELECT server, 
       avg(updated - close_time) 
FROM   trades 
WHERE  close_time > subtractHours(Now(), 2) 
GROUP  BY server

SELECT SUM(count) FROM (
   SELECT
      COUNT(*) AS count
   FROM trades
   GROUP BY order_id
   HAVING count > 1
)

• Suporte para várias fontes de dados (bancos de dados, filas, solicitações de http);
  
• ; 
  
• ( , );
  
• .
  

Recursos nervosos

Este é um serviço que, em um cronograma, executa tarefas personalizadas e heterogêneas para coletar valores numéricos e apresenta os resultados como métricas para diferentes sistemas de coleta de métricas.

• Suporte para diferentes tipos de tarefas: Consulta, CompareQueries, etc;
  
• A capacidade de escrever seus tipos de tarefas no Python como um plug-in de tempo de execução;
  
• Trabalhe com diferentes tipos de recursos: Clickhouse, Postgres, etc;
  
• Modelar métricas de dados, como no prometheus
  metric_name{label="value"} 123.3 ;
  
• pull prometheus;
  
• : crontab-style;
  
• WEB UI ;
  
• yaml ;
  
• Twelve-Factor App. 
  

tasks:
  - name: TaskA
    type: Query
    resources: DbCon1
    period: 1m
    config:
      query: SELECT COUNT(*) FROM ticks
      gauge: metric_count{table="ticks"}

  - name: TaskB
    type: Garcon
    period: 10m
    config:
      url: "http://hostname:9003/api/v1/orders/backups/"
      gauge: backup_ago

  - name: TaskC
    type: Query
    period: "*/5 * * * *"
    resources: DbCon1
    config:
      query: SELECT now() - toDateTime(time_msc/1000)
   FROM deals WHERE trade_server= 'Real'
   ORDER BY deal DESC LIMIT 1
      gauge: orders_lag

resources:
  - name: DbCon1
    type: Clickhouse
    config:
      host: clickhouse.env
      port: 9000
      user: readonly
      password: "***"
      database: data

results:
  common_labels:
    env="prod"
task_types_paths:
  - "./tasks"

O que aconteceu