डेटा इंजीनियर ने डेटा को कैसे देखा

• प्रतिदिन लाखों लेन-देन रिकॉर्ड;
  
• प्रतिदिन अरब बाजार प्रविष्टियाँ (उद्धरण, आदि);
  
• डेटा स्रोतों की विविधता (जैसे मार्केट डेटा के बाहरी स्रोत, विभिन्न ट्रेडिंग प्लेटफॉर्म);
  
• महत्वपूर्ण डेटा (वित्तीय लेनदेन) के लिए बिल्कुल एक बार शब्दार्थ प्रदान करना;
  
• डेटा की अखंडता और पूर्णता सुनिश्चित करना;
  
• यह सुनिश्चित करने के लिए कि निर्धारित समय के लिए लेनदेन को सभी आवश्यक तालिकाओं और समुच्चय में जोड़ा जाएगा।
  

SELECT server, 
       avg(updated - close_time) 
FROM   trades 
WHERE  close_time > subtractHours(Now(), 2) 
GROUP  BY server

SELECT SUM(count) FROM (
   SELECT
      COUNT(*) AS count
   FROM trades
   GROUP BY order_id
   HAVING count > 1
)

• विभिन्न डेटा स्रोतों (डेटाबेस, कतार, http-request) के लिए समर्थन;
  
• ; 
  
• ( , );
  
• .
  

तंत्रिका विशेषताएं

यह एक सेवा है जो संख्यात्मक मानों को एकत्र करने के लिए अनुसूचित, विषम, अनुकूलित कार्यों को चलाता है, और विभिन्न मीट्रिक संग्रह प्रणालियों के लिए मीट्रिक के रूप में परिणाम प्रस्तुत करता है।

• विभिन्न प्रकार के कार्यों के लिए समर्थन: प्रश्न, तुलना, आदि;
  
• पायथन में एक रनटाइम प्लगइन के रूप में अपने प्रकार के कार्यों को लिखने की क्षमता;
  
• विभिन्न प्रकार के संसाधनों के साथ काम करें: Clickhouse, Postgres, आदि;
  
• मॉडल डेटा मैट्रिक्स, प्रोमेथियस के रूप में
  metric_name{label="value"} 123.3;
  
• pull prometheus;
  
• : crontab-style;
  
• WEB UI ;
  
• yaml ;
  
• Twelve-Factor App. 
  

tasks:
  - name: TaskA
    type: Query
    resources: DbCon1
    period: 1m
    config:
      query: SELECT COUNT(*) FROM ticks
      gauge: metric_count{table="ticks"}

  - name: TaskB
    type: Garcon
    period: 10m
    config:
      url: "http://hostname:9003/api/v1/orders/backups/"
      gauge: backup_ago

  - name: TaskC
    type: Query
    period: "*/5 * * * *"
    resources: DbCon1
    config:
      query: SELECT now() - toDateTime(time_msc/1000)
   FROM deals WHERE trade_server= 'Real'
   ORDER BY deal DESC LIMIT 1
      gauge: orders_lag

resources:
  - name: DbCon1
    type: Clickhouse
    config:
      host: clickhouse.env
      port: 9000
      user: readonly
      password: "***"
      database: data

results:
  common_labels:
    env="prod"
task_types_paths:
  - "./tasks"

क्या हुआ