Je vous suggère de vous familiariser avec la transcription du rapport 2017 d'Igor Strykhar «ClickHouse - Analyse des données visuellement rapide et visuelle dans Tabix».
Interface Web pour ClickHouse dans un projet Tabix.
Principales caractéristiques:
- Fonctionne avec ClickHouse directement depuis le navigateur, sans avoir besoin d'installer de logiciel supplémentaire;
- Éditeur de requête en surbrillance de syntaxe
- Achèvement de l'équipe;
- Outils d'analyse graphique pour l'exécution des requêtes;
- Modèles de couleurs au choix.
Je suis le directeur technique des médias2. Nous sommes un agrégateur de nouvelles d'échange de nouvelles. Nous stockons de nombreuses données que nous recevons de nos partenaires et les enregistrons avec ClickHouse - environ 30 000 demandes par seconde.
Ce sont des données telles que:
- Clics sur les actualités.
- Affiche les actualités dans l'agrégateur.
- Affiche des bannières sur notre réseau.
- Et nous enregistrons les événements de notre propre compteur, qui est similaire à Yandex.Metrica. Il s'agit de notre propre microanalyse.
Nous avons eu une vie très mouvementée avant ClickHouse. Nous étions très tourmentés, essayant de stocker ces données quelque part et de les analyser d'une manière ou d'une autre.
La vie avant ClickHouse - infiniDB
La première chose que nous avons eue était infiniDB. Elle a vécu avec nous pendant 4 ans. Nous l'avons commencé avec difficulté.
- . .
- . , CSV- - .
- . , . .
- . , .
2016 , ClickHouse.
ClickHouse — Cassandra
. . infiniDB , , - , .
. Cassandra. Cassandra . 10 000 . 2 000 - .
. . , Cassandra. . .
ClickHouse – Druid
, . 2016 Druid.
Druid – , Java. . clickstream, - .
Druid 0.9.X.
. . - . .
, - . OpenSource – Tranquility, . , .
- . , , , , . - , . . . , , . . . , .
. , habr, , ClickHouse. , .
2 ClickHouse. . infiniDB – , Druid – . Cassandra . php Cassandra , .
? . . . . . ClickHouse – , .
, ClickHouse OpenSource, . 2 web, , , . . .
- ClickHouse. , :
, . . , .
, Druid. Druid, SuperSet. . Druid .
ClickHouse . . . , , : SELECT event, GROUP BY event. ClickHouse.
– Apache Zeppelin. . . , , . , - ClickHouse .
ClickHouse, . . , -. , . . .
– Redash.IO. Redash . . . . DataSource. . . ClickHouse, MySQL, PostgreSQL .
( 2017 ) Grafana. Grafana, , - , - ClickHouse . , . . . . - - , , ClickHouse.
. . EventSQL, SeperSet, Zeppelin.
? , , . ClickHouse – . , , . . . . , .
3 . 330 Tabix.
, ClickHouse-Frontend, . Tabix.
?
. SQL ClickHouse. .
Tabix. . – . – .
, .
, , . . ctrl , . Tabix , . . ClickHouse.
, , , . . , . , . . , .
, , , ClickHouse . - , ClickHouse join, . , - , , , . 200-300 , - - .
, ( 13:46 https://youtu.be/w1-XsL3nbRg?t=826)
, . – , . – workspace. . .
. , Tabix, .
Hotkey – ( 14:39 https://youtu.be/w1-XsL3nbRg?t=879)
hotkey . . , .
, . . sin, cos tg. , . . . . - . , - . , - , - .
. , Redmine Markdown. - , . , «Copy to Redmine» Redmine Markdown Where.
– . «date». ClickHouse - , , . . . , , . . , . . . , , - .
Tabix «Stats», , . . , . .
. ClickHouse, - . - .
– . , : sin, cos 0 299. «Draw» sin cos.
, . . . .
.
.
.
. , , , . . , . .
– Treemap.
Sankeys – . Streamgrahps, River. River. - . . .
– . , , , , , , , . , , .
, , .
Google map. , , Google map, .
, Tabix .
– ClickHouse. «», . , «referrer» - 730 Gb. , 700 GB, . . 2 TB, .
«request_id», . , .
.
– . realtime c ClickHouse , . Grafana. , .
– . , . , . , 200 GB . . . 30 GB, . . .
! OpenSource
. , , OpenSource, . .
, ? ?
, . ., , . . , OpenSource. MySQL , , PostgreSQL. . . Tabix ClickHouse, .
, . . , , , . , php , . . . . ? ? .
. . 330 . , , . 3 . Javascript. , , Javascript, . , – , . .
! . Tableau ?
. Tabix , .
?
, .
, *Tableau*? ?
ClickHouse. Tableau, . , Tabix . , CSV BI. - . , , – . 5 000 , 6 000 , , .
. . - , ?
. , 10 000 . ?
, ? , ?
, , . -. -, . Tabix .
. ?
, .
ClickHouse, ClickHouse production-?
, . . . production 3. ETL, . . . , . MongoDB, Cassandra, MySQL. ClickHouse . . 3 . 6 . ClickHouse.
, . . . .?
Google map, .. . , .
– Google map. «DRAW_GMAPS», . «DRAW_YMAPS», . . .. Javascript, . . , ClickHouse Javascript, . , . , . . , , . .
. . ?
. , , , .
! , ClickHouse , . , , ClickHouse, . , , , - ? , – . ?
– , , -. , Druid, roadmap - 50 % – , . , ClickHouse. , , roadmap. , Data Science, . Tabix – . , Zeppelin. . Redash , , . SuperSet , . , , .
, Pull request ?
.
! . – Javascript. Javascript - - ?*
Javascript.
?
Angular.
. . R *Shiny**?*
. .
.
. , , , .
*, , .
, . . : «- . , ». . , , . . . – , R , «R ».
!
. - , ?
CSV, Excel.
, , ? , .
«» « png, jpg».
!
P.S. - tabix
- Décompressez, copiez le répertoire
builddans nginx root_path - Configurer nginx