😠 🐅 🍅 ClickHouse - टैबिक्स में नेत्रहीन तेजी से और सहज डेटा विश्लेषण। इगोर स्ट्राइकर 🦑 🖐🏿 👭

मेरा सुझाव है कि आप इगोर स्ट्राइखर "ClickHouse - विज़ुअली फास्ट एंड विज़ुअल डेटा एनालिसिस टैबिक्स" द्वारा 2017 की रिपोर्ट के ट्रांसक्रिप्ट से परिचित हों।

एक Tabix परियोजना में ClickHouse के लिए वेब इंटरफ़ेस।
प्रमुख विशेषताऐं:

अतिरिक्त सॉफ़्टवेयर स्थापित करने की आवश्यकता के बिना, ब्राउज़र से सीधे ClickHouse के साथ काम करता है;
सिंटेक्स ने क्वेरी संपादक पर प्रकाश डाला
टीमों के स्वत: पूर्णता;
क्वेरी निष्पादन के लिए ग्राफिकल विश्लेषण उपकरण;
रंग योजनाओं से चुनने के लिए।

मैं मीडिया 2 का तकनीकी निदेशक हूं। हम एक समाचार विनिमय समाचार एग्रीगेटर हैं। हम बहुत से डेटा संग्रहीत करते हैं जो हम अपने भागीदारों से प्राप्त करते हैं और इसे ClickHouse के साथ पंजीकृत करते हैं - प्रति सेकंड लगभग 30,000 अनुरोध।

ये डेटा हैं जैसे:

समाचार क्लिक
एग्रीगेटर में समाचार प्रदर्शित करता है।
हमारे नेटवर्क पर बैनर प्रदर्शित करता है।
और हम अपने स्वयं के काउंटर से घटनाओं को पंजीकृत करते हैं, जो कि Yandex.Metrica के समान है। यह हमारा अपना माइक्रोएनालिसिस है।

ClickHouse से पहले हमारा जीवन बहुत व्यस्त था। हम बहुत तड़प रहे थे, इस डेटा को कहीं स्टोर करने की कोशिश कर रहे थे और किसी तरह उनका विश्लेषण कर रहे थे।

ClickHouse से पहले जीवन - infiniDB

हमारे पास पहली चीज infiniDB थी। वह 4 साल तक हमारे साथ रही। हमने इसे कठिनाई से शुरू किया।

. .
. , CSV- - .
. , . .
. , .

2016 , ClickHouse.

ClickHouse — Cassandra

. . infiniDB , , - , .

. Cassandra. Cassandra . 10 000 . 2 000 - .

. . , Cassandra. . .

ClickHouse – Druid

, . 2016 Druid.

Druid – , Java. . clickstream, - .

Druid 0.9.X.

. . - . .

, - . OpenSource – Tranquility, . , .

- . , , , , . - , . . . , , . . . , .

. , habr, , ClickHouse. , .

2 ClickHouse. . infiniDB – , Druid – . Cassandra . php Cassandra , .

? . . . . . ClickHouse – , .

, ClickHouse OpenSource, . 2 web, , , . . .

- ClickHouse. , :

, . . , .

, Druid. Druid, SuperSet. . Druid .

ClickHouse . . . , , : SELECT event, GROUP BY event. ClickHouse.

– Apache Zeppelin. . . , , . , - ClickHouse .

ClickHouse, . . , -. , . . .

– Redash.IO. Redash . . . . DataSource. . . ClickHouse, MySQL, PostgreSQL .

( 2017 ) Grafana. Grafana, , - , - ClickHouse . , . . . . - - , , ClickHouse.

. . EventSQL, SeperSet, Zeppelin.

? , , . ClickHouse – . , , . . . . , .

3 . 330 Tabix.

, ClickHouse-Frontend, . Tabix.

. SQL ClickHouse. .

Tabix. . – . – .

, .

, , . . ctrl , . Tabix , . . ClickHouse.

, , , . . , . , . . , .

, , , ClickHouse . - , ClickHouse join, . , - , , , . 200-300 , - - .

, ( 13:46 https://youtu.be/w1-XsL3nbRg?t=826)

, . – , . – workspace. . .

. , Tabix, .

Hotkey – ( 14:39 https://youtu.be/w1-XsL3nbRg?t=879)

hotkey . . , .

, . . sin, cos tg. , . . . . - . , - . , - , - .

. , Redmine Markdown. - , . , «Copy to Redmine» Redmine Markdown Where.

– . «date». ClickHouse - , , . . . , , . . , . . . , , - .

Tabix «Stats», , . . , . .

. ClickHouse, - . - .

– . , : sin, cos 0 299. «Draw» sin cos.

, . . . .

. , , , . . , . .

– Treemap.

Sankeys – . Streamgrahps, River. River. - . . .

– . , , , , , , , . , , .

, , .

Google map. , , Google map, .

, Tabix .

– ClickHouse. «», . , «referrer» - 730 Gb. , 700 GB, . . 2 TB, .

«request_id», . , .

– . realtime c ClickHouse , . Grafana. , .

– . , . , . , 200 GB . . . 30 GB, . . .

! OpenSource

. , , OpenSource, . .

, ? ?

, . ., , . . , OpenSource. MySQL , , PostgreSQL. . . Tabix ClickHouse, .

, . . , , , . , php , . . . . ? ? .

. . 330 . , , . 3 . Javascript. , , Javascript, . , – , . .

! . Tableau ?

. Tabix , .

, .

, *Tableau*? ?

ClickHouse. Tableau, . , Tabix . , CSV BI. - . , , – . 5 000 , 6 000 , , .

. . - , ?

. , 10 000 . ?

, ? , ?

, , . -. -, . Tabix .

. ?

, .

ClickHouse, ClickHouse production-?

, . . . production 3. ETL, . . . , . MongoDB, Cassandra, MySQL. ClickHouse . . 3 . 6 . ClickHouse.

, . . . .?

Google map, .. . , .

– Google map. «DRAW_GMAPS», . «DRAW_YMAPS», . . .. Javascript, . . , ClickHouse Javascript, . , . , . . , , . .

. . ?

. , , , .

! , ClickHouse , . , , ClickHouse, . , , , - ? , – . ?

– , , -. , Druid, roadmap - 50 % – , . , ClickHouse. , , roadmap. , Data Science, . Tabix – . , Zeppelin. . Redash , , . SuperSet , . , , .

, Pull request ?

! . – Javascript. Javascript - - ?*

Javascript.

Angular.

. . R *Shiny**?*

. .

. , , , .

*, , .

, . . : «- . , ». . , , . . . – , R , «R ».

. - , ?

CSV, Excel.

, , ? , .

«» « png, jpg».

P.S. - tabix

Unzip, निर्देशिका buildको nginx root_path पर कॉपी करें
Nginx कॉन्फ़िगर करें

ClickHouse - टैबिक्स में नेत्रहीन तेजी से और सहज डेटा विश्लेषण। इगोर स्ट्राइकर

More articles: