Saya menyarankan agar Anda berkenalan dengan transkrip laporan 2017 oleh Igor Strykhar "ClickHouse - Visual Cepat dan Analisis Data Visual di Tabix".
Antarmuka web untuk ClickHouse dalam proyek Tabix.
Fitur utama:
- Bekerja dengan ClickHouse langsung dari browser, tanpa perlu menginstal perangkat lunak tambahan;
- Sintaksis yang disorot editor kueri
- Penyelesaian tim secara otomatis;
- Alat analisis grafis untuk eksekusi permintaan;
- Skema warna untuk dipilih.
Saya adalah direktur teknis media2. Kami adalah agregator berita pertukaran berita. Kami menyimpan banyak data yang kami terima dari mitra kami dan mendaftarkannya dengan ClickHouse - sekitar 30.000 permintaan per detik.
Ini adalah data seperti:
- Klik Berita.
- Menampilkan berita di agregator.
- Menampilkan spanduk di jaringan kami.
- Dan kami mendaftarkan acara dari konter kami sendiri, yang mirip dengan Yandex.Metrica. Ini adalah analisis mikro kita sendiri.
Kami memiliki kehidupan yang sangat sibuk sebelum ClickHouse. Kami sangat tersiksa, mencoba menyimpan data ini di suatu tempat dan menganalisisnya.
Hidup sebelum ClickHouse - infiniDB
Hal pertama yang kami miliki adalah infiniDB. Dia tinggal bersama kami selama 4 tahun. Kami memulainya dengan susah payah.
- . .
- . , CSV- - .
- . , . .
- . , .
2016 , ClickHouse.
ClickHouse — Cassandra
. . infiniDB , , - , .
. Cassandra. Cassandra . 10 000 . 2 000 - .
. . , Cassandra. . .
ClickHouse – Druid
, . 2016 Druid.
Druid – , Java. . clickstream, - .
Druid 0.9.X.
. . - . .
, - . OpenSource – Tranquility, . , .
- . , , , , . - , . . . , , . . . , .
. , habr, , ClickHouse. , .
2 ClickHouse. . infiniDB – , Druid – . Cassandra . php Cassandra , .
? . . . . . ClickHouse – , .
, ClickHouse OpenSource, . 2 web, , , . . .
- ClickHouse. , :
, . . , .
, Druid. Druid, SuperSet. . Druid .
ClickHouse . . . , , : SELECT event, GROUP BY event. ClickHouse.
– Apache Zeppelin. . . , , . , - ClickHouse .
ClickHouse, . . , -. , . . .
– Redash.IO. Redash . . . . DataSource. . . ClickHouse, MySQL, PostgreSQL .
( 2017 ) Grafana. Grafana, , - , - ClickHouse . , . . . . - - , , ClickHouse.
. . EventSQL, SeperSet, Zeppelin.
? , , . ClickHouse – . , , . . . . , .
3 . 330 Tabix.
, ClickHouse-Frontend, . Tabix.
?
. SQL ClickHouse. .
Tabix. . – . – .
, .
, , . . ctrl , . Tabix , . . ClickHouse.
, , , . . , . , . . , .
, , , ClickHouse . - , ClickHouse join, . , - , , , . 200-300 , - - .
, ( 13:46 https://youtu.be/w1-XsL3nbRg?t=826)
, . – , . – workspace. . .
. , Tabix, .
Hotkey – ( 14:39 https://youtu.be/w1-XsL3nbRg?t=879)
hotkey . . , .
, . . sin, cos tg. , . . . . - . , - . , - , - .
. , Redmine Markdown. - , . , «Copy to Redmine» Redmine Markdown Where.
– . «date». ClickHouse - , , . . . , , . . , . . . , , - .
Tabix «Stats», , . . , . .
. ClickHouse, - . - .
– . , : sin, cos 0 299. «Draw» sin cos.
, . . . .
.
.
.
. , , , . . , . .
– Treemap.
Sankeys – . Streamgrahps, River. River. - . . .
– . , , , , , , , . , , .
, , .
Google map. , , Google map, .
, Tabix .
– ClickHouse. «», . , «referrer» - 730 Gb. , 700 GB, . . 2 TB, .
«request_id», . , .
.
– . realtime c ClickHouse , . Grafana. , .
– . , . , . , 200 GB . . . 30 GB, . . .
! OpenSource
. , , OpenSource, . .
, ? ?
, . ., , . . , OpenSource. MySQL , , PostgreSQL. . . Tabix ClickHouse, .
, . . , , , . , php , . . . . ? ? .
. . 330 . , , . 3 . Javascript. , , Javascript, . , – , . .
! . Tableau ?
. Tabix , .
?
, .
, *Tableau*? ?
ClickHouse. Tableau, . , Tabix . , CSV BI. - . , , – . 5 000 , 6 000 , , .
. . - , ?
. , 10 000 . ?
, ? , ?
, , . -. -, . Tabix .
. ?
, .
ClickHouse, ClickHouse production-?
, . . . production 3. ETL, . . . , . MongoDB, Cassandra, MySQL. ClickHouse . . 3 . 6 . ClickHouse.
, . . . .?
Google map, .. . , .
– Google map. «DRAW_GMAPS», . «DRAW_YMAPS», . . .. Javascript, . . , ClickHouse Javascript, . , . , . . , , . .
. . ?
. , , , .
! , ClickHouse , . , , ClickHouse, . , , , - ? , – . ?
– , , -. , Druid, roadmap - 50 % – , . , ClickHouse. , , roadmap. , Data Science, . Tabix – . , Zeppelin. . Redash , , . SuperSet , . , , .
, Pull request ?
.
! . – Javascript. Javascript - - ?*
Javascript.
?
Angular.
. . R *Shiny**?*
. .
.
. , , , .
*, , .
, . . : «- . , ». . , , . . . – , R , «R ».
!
. - , ?
CSV, Excel.
, , ? , .
«» « png, jpg».
!
P.S. - tabix
- Unzip, salin direktori
buildke nginx root_path - Konfigurasikan nginx