Le sugiero que se familiarice con la transcripción del informe de 2017 de Igor Strykhar "ClickHouse - Análisis de datos visualmente rápido y visual en Tabix".
Interfaz web para ClickHouse en un proyecto Tabix.
Características clave:
- Funciona con ClickHouse directamente desde el navegador, sin la necesidad de instalar software adicional;
- Editor de consultas resaltado de sintaxis
- Autocompletado de equipos;
- Herramientas de análisis gráfico para la ejecución de consultas;
- Esquemas de colores para elegir.
Soy el director técnico de los medios2. Somos un agregador de noticias de intercambio de noticias. Almacenamos muchos datos que recibimos de nuestros socios y los registramos con ClickHouse, alrededor de 30,000 solicitudes por segundo.
Estos son datos como:
- Noticias clics.
- Muestra noticias en el agregador.
- Muestra pancartas en nuestra red.
- Y registramos eventos desde nuestro propio contador, que es similar a Yandex.Metrica. Este es nuestro propio microanálisis.
Tuvimos una vida muy agitada antes de ClickHouse. Estábamos muy atormentados, tratando de almacenar estos datos en algún lugar y de alguna manera analizarlos.
La vida antes de ClickHouse - infiniDB
Lo primero que tuvimos fue infiniDB. Ella vivió con nosotros durante 4 años. Lo empezamos con dificultad.
- . .
- . , CSV- - .
- . , . .
- . , .
2016 , ClickHouse.
ClickHouse — Cassandra
. . infiniDB , , - , .
. Cassandra. Cassandra . 10 000 . 2 000 - .
. . , Cassandra. . .
ClickHouse – Druid
, . 2016 Druid.
Druid – , Java. . clickstream, - .
Druid 0.9.X.
. . - . .
, - . OpenSource – Tranquility, . , .
- . , , , , . - , . . . , , . . . , .
. , habr, , ClickHouse. , .
2 ClickHouse. . infiniDB – , Druid – . Cassandra . php Cassandra , .
? . . . . . ClickHouse – , .
, ClickHouse OpenSource, . 2 web, , , . . .
- ClickHouse. , :
, . . , .
, Druid. Druid, SuperSet. . Druid .
ClickHouse . . . , , : SELECT event, GROUP BY event. ClickHouse.
– Apache Zeppelin. . . , , . , - ClickHouse .
ClickHouse, . . , -. , . . .
– Redash.IO. Redash . . . . DataSource. . . ClickHouse, MySQL, PostgreSQL .
( 2017 ) Grafana. Grafana, , - , - ClickHouse . , . . . . - - , , ClickHouse.
. . EventSQL, SeperSet, Zeppelin.
? , , . ClickHouse – . , , . . . . , .
3 . 330 Tabix.
, ClickHouse-Frontend, . Tabix.
?
. SQL ClickHouse. .
Tabix. . – . – .
, .
, , . . ctrl , . Tabix , . . ClickHouse.
, , , . . , . , . . , .
, , , ClickHouse . - , ClickHouse join, . , - , , , . 200-300 , - - .
, ( 13:46 https://youtu.be/w1-XsL3nbRg?t=826)
, . – , . – workspace. . .
. , Tabix, .
Hotkey – ( 14:39 https://youtu.be/w1-XsL3nbRg?t=879)
hotkey . . , .
, . . sin, cos tg. , . . . . - . , - . , - , - .
. , Redmine Markdown. - , . , «Copy to Redmine» Redmine Markdown Where.
– . «date». ClickHouse - , , . . . , , . . , . . . , , - .
Tabix «Stats», , . . , . .
. ClickHouse, - . - .
– . , : sin, cos 0 299. «Draw» sin cos.
, . . . .
.
.
.
. , , , . . , . .
– Treemap.
Sankeys – . Streamgrahps, River. River. - . . .
– . , , , , , , , . , , .
, , .
Google map. , , Google map, .
, Tabix .
– ClickHouse. «», . , «referrer» - 730 Gb. , 700 GB, . . 2 TB, .
«request_id», . , .
.
– . realtime c ClickHouse , . Grafana. , .
– . , . , . , 200 GB . . . 30 GB, . . .
! OpenSource
. , , OpenSource, . .
, ? ?
, . ., , . . , OpenSource. MySQL , , PostgreSQL. . . Tabix ClickHouse, .
, . . , , , . , php , . . . . ? ? .
. . 330 . , , . 3 . Javascript. , , Javascript, . , – , . .
! . Tableau ?
. Tabix , .
?
, .
, *Tableau*? ?
ClickHouse. Tableau, . , Tabix . , CSV BI. - . , , – . 5 000 , 6 000 , , .
. . - , ?
. , 10 000 . ?
, ? , ?
, , . -. -, . Tabix .
. ?
, .
ClickHouse, ClickHouse production-?
, . . . production 3. ETL, . . . , . MongoDB, Cassandra, MySQL. ClickHouse . . 3 . 6 . ClickHouse.
, . . . .?
Google map, .. . , .
– Google map. «DRAW_GMAPS», . «DRAW_YMAPS», . . .. Javascript, . . , ClickHouse Javascript, . , . , . . , , . .
. . ?
. , , , .
! , ClickHouse , . , , ClickHouse, . , , , - ? , – . ?
– , , -. , Druid, roadmap - 50 % – , . , ClickHouse. , , roadmap. , Data Science, . Tabix – . , Zeppelin. . Redash , , . SuperSet , . , , .
, Pull request ?
.
! . – Javascript. Javascript - - ?*
Javascript.
?
Angular.
. . R *Shiny**?*
. .
.
. , , , .
*, , .
, . . : «- . , ». . , , . . . – , R , «R ».
!
. - , ?
CSV, Excel.
, , ? , .
«» « png, jpg».
!
P.S. - tabix
- Descomprima, copie el directorio
builda nginx root_path - Configurar nginx