Sugiro que você leia a decodificação do relatório de 2017 de Igor Strykhar "ClickHouse - Análise de dados visualmente rápida e visual em Tabix".
Interface da Web para ClickHouse em um projeto Tabix.
Características principais:
- Funciona com o ClickHouse diretamente do navegador, sem a necessidade de instalar software adicional;
- Editor de consultas destacado da sintaxe
- Autocompletar equipes;
- Ferramentas de análise gráfica para execução de consultas;
- Esquemas de cores para escolher.
Eu sou o diretor técnico da mídia Somos um agregador de notícias de troca de notícias. Armazenamos muitos dados que recebemos de nossos parceiros e os registramos no ClickHouse - cerca de 30.000 solicitações por segundo.
Estes são dados como:
- Cliques de notícias.
- Exibe notícias no agregador.
- Exibe banners em nossa rede.
- E registramos eventos em nosso próprio contador, que é semelhante ao Yandex.Metrica. Esta é a nossa própria microanálise.
Tivemos uma vida muito agitada antes da ClickHouse. Ficamos muito atormentados, tentando armazenar esses dados em algum lugar e de alguma forma analisá-los.
Vida antes do ClickHouse - infiniDB
A primeira coisa que tivemos foi o infiniDB. Ela morou conosco por 4 anos. Começamos com dificuldade.
- . .
- . , CSV- - .
- . , . .
- . , .
2016 , ClickHouse.
ClickHouse — Cassandra
. . infiniDB , , - , .
. Cassandra. Cassandra . 10 000 . 2 000 - .
. . , Cassandra. . .
ClickHouse – Druid
, . 2016 Druid.
Druid – , Java. . clickstream, - .
Druid 0.9.X.
. . - . .
, - . OpenSource – Tranquility, . , .
- . , , , , . - , . . . , , . . . , .
. , habr, , ClickHouse. , .
2 ClickHouse. . infiniDB – , Druid – . Cassandra . php Cassandra , .
? . . . . . ClickHouse – , .
, ClickHouse OpenSource, . 2 web, , , . . .
- ClickHouse. , :
, . . , .
, Druid. Druid, SuperSet. . Druid .
ClickHouse . . . , , : SELECT event, GROUP BY event. ClickHouse.
– Apache Zeppelin. . . , , . , - ClickHouse .
ClickHouse, . . , -. , . . .
– Redash.IO. Redash . . . . DataSource. . . ClickHouse, MySQL, PostgreSQL .
( 2017 ) Grafana. Grafana, , - , - ClickHouse . , . . . . - - , , ClickHouse.
. . EventSQL, SeperSet, Zeppelin.
? , , . ClickHouse – . , , . . . . , .
3 . 330 Tabix.
, ClickHouse-Frontend, . Tabix.
?
. SQL ClickHouse. .
Tabix. . – . – .
, .
, , . . ctrl , . Tabix , . . ClickHouse.
, , , . . , . , . . , .
, , , ClickHouse . - , ClickHouse join, . , - , , , . 200-300 , - - .
, ( 13:46 https://youtu.be/w1-XsL3nbRg?t=826)
, . – , . – workspace. . .
. , Tabix, .
Hotkey – ( 14:39 https://youtu.be/w1-XsL3nbRg?t=879)
hotkey . . , .
, . . sin, cos tg. , . . . . - . , - . , - , - .
. , Redmine Markdown. - , . , «Copy to Redmine» Redmine Markdown Where.
– . «date». ClickHouse - , , . . . , , . . , . . . , , - .
Tabix «Stats», , . . , . .
. ClickHouse, - . - .
– . , : sin, cos 0 299. «Draw» sin cos.
, . . . .
.
.
.
. , , , . . , . .
– Treemap.
Sankeys – . Streamgrahps, River. River. - . . .
– . , , , , , , , . , , .
, , .
Google map. , , Google map, .
, Tabix .
– ClickHouse. «», . , «referrer» - 730 Gb. , 700 GB, . . 2 TB, .
«request_id», . , .
.
– . realtime c ClickHouse , . Grafana. , .
– . , . , . , 200 GB . . . 30 GB, . . .
! OpenSource
. , , OpenSource, . .
, ? ?
, . ., , . . , OpenSource. MySQL , , PostgreSQL. . . Tabix ClickHouse, .
, . . , , , . , php , . . . . ? ? .
. . 330 . , , . 3 . Javascript. , , Javascript, . , – , . .
! . Tableau ?
. Tabix , .
?
, .
, *Tableau*? ?
ClickHouse. Tableau, . , Tabix . , CSV BI. - . , , – . 5 000 , 6 000 , , .
. . - , ?
. , 10 000 . ?
, ? , ?
, , . -. -, . Tabix .
. ?
, .
ClickHouse, ClickHouse production-?
, . . . production 3. ETL, . . . , . MongoDB, Cassandra, MySQL. ClickHouse . . 3 . 6 . ClickHouse.
, . . . .?
Google map, .. . , .
– Google map. «DRAW_GMAPS», . «DRAW_YMAPS», . . .. Javascript, . . , ClickHouse Javascript, . , . , . . , , . .
. . ?
. , , , .
! , ClickHouse , . , , ClickHouse, . , , , - ? , – . ?
– , , -. , Druid, roadmap - 50 % – , . , ClickHouse. , , roadmap. , Data Science, . Tabix – . , Zeppelin. . Redash , , . SuperSet , . , , .
, Pull request ?
.
! . – Javascript. Javascript - - ?*
Javascript.
?
Angular.
. . R *Shiny**?*
. .
.
. , , , .
*, , .
, . . : «- . , ». . , , . . . – , R , «R ».
!
. - , ?
CSV, Excel.
, , ? , .
«» « png, jpg».
!
P.S. - tabix
- Descompacte, copie o diretório
buildpara nginx root_path - Configurar nginx