كيف شاهد مهندس البيانات البيانات

• عشرات الملايين من سجلات المعاملات يوميا ؛
  
• مليار دخول السوق يوميًا (عروض الأسعار ، إلخ) ؛
  
• عدم تجانس مصادر البيانات (مثل المصادر الخارجية لبيانات السوق ، منصات التداول المختلفة) ؛
  
• توفير دلالات دقيقة للبيانات الهامة (المعاملات المالية) ؛
  
• ضمان سلامة واكتمال البيانات ؛
  
• توفير الضمانات بأنه في الوقت المحدد ستتم إضافة المعاملة إلى جميع الجداول والمجموعات اللازمة.
  

SELECT server, 
       avg(updated - close_time) 
FROM   trades 
WHERE  close_time > subtractHours(Now(), 2) 
GROUP  BY server

SELECT SUM(count) FROM (
   SELECT
      COUNT(*) AS count
   FROM trades
   GROUP BY order_id
   HAVING count > 1
)

• دعم مصادر البيانات المختلفة (قواعد البيانات ، قوائم الانتظار ، طلبات http) ؛
  
• ; 
  
• ( , );
  
• .
  

ميزات الأعصاب

هذه خدمة تدير مهام مجدولة وغير متجانسة ومخصصة لجمع القيم العددية ، وتعرض النتائج كمقاييس لأنظمة جمع المقاييس المختلفة.

• دعم أنواع مختلفة من المهام: Query ، CompareQueries ، وما إلى ذلك ؛
  
• القدرة على كتابة أنواع المهام الخاصة بك في Python كمكوّن إضافي لوقت التشغيل ؛
  
• العمل مع أنواع مختلفة من الموارد: Clickhouse ، Postgres ، وما إلى ذلك ؛
  
• مقاييس بيانات النموذج ، كما هو الحال في بروميثيوس
  metric_name{label="value"} 123.3 ؛
  
• pull prometheus;
  
• : crontab-style;
  
• WEB UI ;
  
• yaml ;
  
• Twelve-Factor App. 
  

tasks:
  - name: TaskA
    type: Query
    resources: DbCon1
    period: 1m
    config:
      query: SELECT COUNT(*) FROM ticks
      gauge: metric_count{table="ticks"}

  - name: TaskB
    type: Garcon
    period: 10m
    config:
      url: "http://hostname:9003/api/v1/orders/backups/"
      gauge: backup_ago

  - name: TaskC
    type: Query
    period: "*/5 * * * *"
    resources: DbCon1
    config:
      query: SELECT now() - toDateTime(time_msc/1000)
   FROM deals WHERE trade_server= 'Real'
   ORDER BY deal DESC LIMIT 1
      gauge: orders_lag

resources:
  - name: DbCon1
    type: Clickhouse
    config:
      host: clickhouse.env
      port: 9000
      user: readonly
      password: "***"
      database: data

results:
  common_labels:
    env="prod"
task_types_paths:
  - "./tasks"

ماذا حدث