ClickHouse - visuell schnelle und intuitive Datenanalyse in Tabix. Igor Strykhar

Ich schlage vor, dass Sie die Dekodierung des Berichts 2017 von Igor Strykhar „ClickHouse - Visuell schnelle und visuelle Datenanalyse in Tabix“ lesen.

Weboberfläche für ClickHouse in einem Tabix-Projekt.
Hauptmerkmale:

• Funktioniert mit ClickHouse direkt über den Browser, ohne dass zusätzliche Software installiert werden muss.
• Syntax hervorgehobener Abfrageeditor
• Autovervollständigung von Teams;
• Grafische Analysewerkzeuge für die Ausführung von Abfragen;
• Farbschemata zur Auswahl.
  

Ich bin der technische Direktor der Medien2. Wir sind ein Nachrichtenaggregator. Wir speichern viele Daten, die wir von unseren Partnern erhalten, und registrieren sie bei ClickHouse - etwa 30.000 Anfragen pro Sekunde.

Dies sind Daten wie:

• News-Klicks.
• Zeigt Nachrichten im Aggregator an.
• Zeigt Banner in unserem Netzwerk an.
• Und wir registrieren Ereignisse von unserem eigenen Schalter, der Yandex.Metrica ähnelt. Dies ist unsere eigene Mikroanalyse.

Wir hatten ein sehr hektisches Leben vor ClickHouse. Wir waren sehr gequält und haben versucht, diese Daten irgendwo zu speichern und irgendwie zu analysieren.

Leben vor ClickHouse - infiniDB

Das erste was wir hatten war infiniDB. Sie lebte 4 Jahre bei uns. Wir haben es mit Mühe angefangen.

• . .
• . , CSV- - .
• . , . .
• . , .

2016 , ClickHouse.

ClickHouse — Cassandra

. . infiniDB , , - , .

. Cassandra. Cassandra . 10 000 . 2 000 - .

. . , Cassandra. . .

ClickHouse – Druid

, . 2016 Druid.

Druid – , Java. . clickstream, - .

Druid 0.9.X.

. . - . .

, - . OpenSource – Tranquility, . , .

- . , , , , . - , . . . , , . . . , .

. , habr, , ClickHouse. , .

2 ClickHouse. . infiniDB – , Druid – . Cassandra . php Cassandra , .

? . . . . . ClickHouse – , .

, ClickHouse OpenSource, . 2 web, , , . . .

- ClickHouse. , :

• Redash.IO.
• Apache Zeppelin.
• Superset Airbnb. ( https://github.com/apache/incubator-superset)
• Jetbrains IDE.
• Vertamedia/clickhouse-grafana.

, . . , .

, Druid. Druid, SuperSet. . Druid .

ClickHouse . . . , , : SELECT event, GROUP BY event. ClickHouse.

– Apache Zeppelin. . . , , . , - ClickHouse .

ClickHouse, . . , -. , . . .

– Redash.IO. Redash . . . . DataSource. . . ClickHouse, MySQL, PostgreSQL .

( 2017 ) Grafana. Grafana, , - , - ClickHouse . , . . . . - - , , ClickHouse.

. . EventSQL, SeperSet, Zeppelin.

? , , . ClickHouse – . , , . . . . , .

3 . 330 Tabix.

, ClickHouse-Frontend, . Tabix.

?

. SQL ClickHouse. .

Tabix. . – . – .

, .

, , . . ctrl , . Tabix , . . ClickHouse.

, , , . . , . , . . , .

, , , ClickHouse . - , ClickHouse join, . , - , , , . 200-300 , - - .

, ( 13:46 https://youtu.be/w1-XsL3nbRg?t=826)

, . – , . – workspace. . .

. , Tabix, .

Hotkey – ( 14:39 https://youtu.be/w1-XsL3nbRg?t=879)

hotkey . . , .

, . . sin, cos tg. , . . . . - . , - . , - , - .

. , Redmine Markdown. - , . , «Copy to Redmine» Redmine Markdown Where.

– . «date». ClickHouse - , , . . . , , . . , . . . , , - .

Tabix «Stats», , . . , . .

. ClickHouse, - . - .

– . , : sin, cos 0 299. «Draw» sin cos.

, . . . .

.

.

.

. , , , . . , . .

– Treemap.

Sankeys – . Streamgrahps, River. River. - . . .

– . , , , , , , , . , , .

, , .

Google map. , , Google map, .

, Tabix .

– ClickHouse. «», . , «referrer» - 730 Gb. , 700 GB, . . 2 TB, .

«request_id», . , .

.

– . realtime c ClickHouse , . Grafana. , .

– . , . , . , 200 GB . . . 30 GB, . . .

! OpenSource

. , , OpenSource, . .

, ? ?

, . ., , . . , OpenSource. MySQL , , PostgreSQL. . . Tabix ClickHouse, .

, . . , , , . , php , . . . . ? ? .

. . 330 . , , . 3 . Javascript. , , Javascript, . , – , . .

! . Tableau ?

. Tabix , .

?

, .

, *Tableau*? ?

ClickHouse. Tableau, . , Tabix . , CSV BI. - . , , – . 5 000 , 6 000 , , .

. . - , ?

. , 10 000 . ?

, ? , ?

, , . -. -, . Tabix .

. ?

, .

ClickHouse, ClickHouse production-?

, . . . production 3. ETL, . . . , . MongoDB, Cassandra, MySQL. ClickHouse . . 3 . 6 . ClickHouse.

, . . . .?

Google map, .. . , .

– Google map. «DRAW_GMAPS», . «DRAW_YMAPS», . . .. Javascript, . . , ClickHouse Javascript, . , . , . . , , . .

. . ?

. , , , .

! , ClickHouse , . , , ClickHouse, . , , , - ? , – . ?

– , , -. , Druid, roadmap - 50 % – , . , ClickHouse. , , roadmap. , Data Science, . Tabix – . , Zeppelin. . Redash , , . SuperSet , . , , .

, Pull request ?

.

! . – Javascript. Javascript - - ?*

Javascript.

?

Angular.

. . R *Shiny**?*

. .

.

. , , , .

*, , .

, . . : «- . , ». . , , . . . – , R , «R ».

!

. - , ?

CSV, Excel.

, , ? , .

«» « png, jpg».

!

P.S. - tabix

• Entpacken Sie das Verzeichnis und kopieren Sie es in den buildnginx-Stammpfad
• Konfigurieren Sie Nginx