ูู ุฃุจุฑูู ุ ุงุฌุชู
ุน ู
ููุฏุณู Avito ูู ููุงุก ุนุจุฑ ุงูุฅูุชุฑูุช ู
ุน ูุจูุฑ ู
ุทูุฑู ClickHouse Alexei Milovidov ู Kirill Shvakov ุ ู
ุทูุฑ Golang ู
ู Integros. ูุงูุดูุง ููู ูุณุชุฎุฏู
ูุธุงู
ุฅุฏุงุฑุฉ ูุงุนุฏุฉ ุงูุจูุงูุงุช ูู
ุง ูู ุงูุตุนูุจุงุช ุงูุชู ููุงุฌููุง.
ุจูุงุกู ุนูู ุงูุงุฌุชู
ุงุน ุ ูู
ูุง ุจุฌู
ุน ู
ูุงูุฉ ุจุฅุฌุงุจุงุช ุฎุจุฑุงุก ุนูู ุฃุณุฆูุฉ ุงูุฌู
ููุฑ ูุงูุฌู
ููุฑ ุญูู ุงููุณุฎ ุงูุงุญุชูุงุทูุฉ ูุฅุนุงุฏุฉ ู
ุดุงุฑูุฉ ุงูุจูุงูุงุช ูุงูููุงู
ูุณ ุงูุฎุงุฑุฌูุฉ ูุจุฑูุงู
ุฌ ุชุดุบูู Golang ูุชุญุฏูุซุงุช ุฅุตุฏุงุฑ ClickHouse. ูุฏ ูููู ู
ููุฏูุง ููู
ุทูุฑูู ุงูุฐูู ูุนู
ููู ุจุงููุนู ุจูุดุงุท ู
ุน Yandex DBMS ูููุชู
ูู ุจุญุงุถุฑูุง ูู
ุณุชูุจููุง. ุงูุฌูุงุจ ุงูุงูุชุฑุงุถู ูู ุฃูููุณู ู
ูููููุฏูู ุ ู
ุง ูู
ููุชุจ ุฎูุงู ุฐูู.
ุงูุญุฐุฑ ุ ุชุญุช ูุต ุงููุซูุฑ ู
ู ุงููุต. ูุฃู
ู ุฃู ูุณุงุนุฏู ุงูู
ุญุชูู ู
ุน ุงูุฃุณุฆูุฉ ูู ุงูุชููู.
ุงูู
ุญุชูู
, -. โ .
ClickHouse , โ . ?
ClickHouse , , optimize final , .
, - , . , , , , ClickHouse. , ?
, , , . , ClickHouse . , , - . , , ClickHouse . .
ClickHouse?
, optimize final, , , , , , ?
: - - . , , ?
. ยซ.ยป, . , .
, ClickHouse, . , . , , .
. โ .
, :
- , โ show create table.
- ClickHouse โ select * from table . TabSeparated. โ Native.
, . , ClickHouse. , MySQL .
ClickHouse . alter table freeze partition. alter table freeze โ .
, . , . . - , .
. โ . Directory-Detached attach partition. .
- โ , . , ยซ.ยป. โ , .
. ClickHouse , . , . . โ LVM , โ ZFS Linux.
, - . , , . , . , .
?
ClickHouse. ? .
- roll back ? , , , ?
, , , , ?
. , issue : ยซ - , , ยป. , issue . , , ClickHouse. , 20.3.
ClickHouse โ . , . , , .
-, , select, , . select .
-, โ . . : , , . ClickHouse .
, . , ClickHouse , . - , , , alter drop column. .
20.3, , . โ , . , , . , , , , - , . , , .
. alter delete alter update, , . .
, ?
, ? . Btrfs ZFS Linux LVM?
attach partition , ClickHouse , . . โ MergeTree , attach, alter. attach , alter table move partition.
โ Btrfs. , LVM, LVM , ext4, . Btrts . , , . , Btrfs .
?
. . โ ClickHouse . , . , ClickHouse .
, . , , . , , , .
, , โ alter table fetch partition. , , 2017 , โ - . , - .
, . , . . , . , .
, , , . โ . select Distributed , .
, , . , , , . , select โ , , โ .
. , - , , Distributed . ClickHouse optimize skip unused shards. select where , , . , . , .
, . , , .
, lead system administrator : , , , . , , , . , , , - .
: โ , , . , . , . , , .
, , , . . , , . , , .
2019 . , 2019 , 2019 โ , - . . , ad hoc , .
. , , . .
, . . โ . โ . โ , . , .
, โ . , select. select, , .
, CPU - - . , , . , , . , . , .
: , , . , ClickHouse .
, , . . , ClickHouse: ยซ . - - , ยป.
, , , . .
: , , , , .
ยซ.ยป. โ , . -. ยซ.ยป, โ avito.ru, , .
โ , . , ยซยป. , ยซยป . , .
, , ? , ClickHouse ยซยป โ . , , ClickHouse .
โ - . Distributed , , . , , , , .
. , , . , - . . avito.ru. , , โ . .
. , . . .
? โ , . . โ -, , , MySQL. โ . .
. , , . , - , . , . Distributed , . .
, , . clickhouse-copier.
โ . , , , , 120 โ 360 . , . ยซ.ยป avito.ru, 120 . . , . Distributed , 120 .
โ . , .
ClickHouse clickhouse-copier. ?
, . , , . , . .
, . , , , , .
, , . Distributed , clickhouse-copier, , , . , , , . , , .
clickhouse-copier? . , clickhouse-copier , , โ insert select. , , , , -, . .
2017 , . ClickHouse. , . , ? .
, , . , , , . , , โ .
?
TTL move to slow disk . , cron, ?
, - โ . , . , , .
. โ . - , . , โ .
โ . . , .
ClickHouse, ?
- ClickHouse , . 19.11 19.16 , , 19.16 20.3. , ?
ยซยป . โ changelog. , . . , , , , .
โ , , โ . . , , , , , . . - , โ .
โ . ClickHouse, .
20.3.4. 20 โ 2020. , , , . โ 20.3. โ 3 โ , - . ClickHouse - , . 20.4 ClickHouse . โ 20.3.4. 4 โ -, , - . 4 , .
, - . , - . , - , , . . -, ClickHouse .
ClickHouse , ClickHouse โ , 20.4.1 โ , . ? ClickHouse, , , , . ClickHouse , โ .
: . - , , ClickHouse, . .
. , ClickHouse. โ Hetzner , . , Ansible, , โ .
? ClickHouse , โ Docker, LXC, , Ansible playbook, . . , - . , , โ . , . โ .
, senior backend engineer : . ClickHouse, , . . -, . โ , , , , . . , , .
: , ยซ.ยป. 600 - , 360, . โ . ? . . , .
- -. , , .
. ClickHouse. , ยซ.ยป, , . , CI. .
. . , . . : , , . . . โ , .
- . : ยซ , . , . , . ยป. , , โ . .
Kill query , . ?
, - , , ClickHouse. - โ , . , CPU , . ClickHouse . : ยซ , , process list, ยป.
kill. , . , ClickHouse - , , , . , ClickHouse, kill query . ? , kill query , .
. , kill query .
Kill query ยซ , ยป. . , . , , . , . , .
, - . , , , , , . , . , . , , โ ClickHouse.
?
, item โ . โ . , 1K RPS 1K itemโ?
, , โ , , .
. select 1 ClickHouse , . , - key-value , . , . โ 8192 . 64 1 . . .
. , . , , . 1000 RPS ClickHouse , , .
ClickHouse , โ . , , .
, , ClickHouse . ? โ . , , . , 64.
. min compress block size, max compress block size. , , . ClickHouse โ key-value . โ .
: , . , ClickHouse - . , - , - , - . MySQL, โ MySQL duplicate key, PostgreSQL conflict โ . .
, ClickHouse . , .
ClickHouse, ?
โ 256 , ClickHouse 60โ80 , โ 130. , , , ?
, page cache . , cached free โ , โ , . , . , , .
, , ClickHouse . uncompressed cache. config.xml uncompressed cache size โ , page cache.
, . โ use uncompressed cache โ . , , . โ - . , .
storage_configuration ?
ClickHouse , data storage. fast SSD.
, volume hot memory. . select , , , ? prewhere ?
, .
.
. , โ . tmpfs , - . , , .
- , , -, . , . , . , . ClickHouse , , , ZooKeeper . , , . .
, page cache . . , ClickHouse fsync insert.
, . select , , , . prewhere , , .
Low Cardinality?
Low Cardinality . , . -, , -, . โ -, โ , .
: โ , โ - Low Cardinality . fallback, , . , string, , , .
?
. โ , ClickHouse โ . , Elasticsearch Sphinx. , , , Elasticsearch ClickHouse.
? , Elasticsearch , , . , , ClickHouse, , . , - , . , - .
ClickHouse , . . , , - like. like ClickHouse โ like, . โ .
like โ full scan. full scan CPU, . , - , . , , SSH .
. โ , . ClickHouse -. Arenadata , , .
, , : - . , - , , . , .
ClickHouse . , -, , , , UTF-8 ASCII. , .
. X like or X like . , .
โ . - , .
ClickHouse ?
, . , max concurrent queries, ?
, , . , , , . . , .
, . , .
, . ยซ.ยป select count from hits, , . , , โ , . .
, , . โ force index by date. , . , . โ where event date between . , and or โ or URL match. , URL .
, ClickHouse . , . priority. priority โ 0, - , , , , , , .
, , . , , , .
OS thread priority. nice Linux. , - . nice โ , โ -19, CPU , .
โ , . โ . , , , ClickHouse , .
, : - โ . , . . . min execution speed โ , timeout before checking min execution speed โ . , , , โ .
. ClickHouse , . , , CPU, , โ , . , , .
? ClickHouse . . , , . , . .
?
, . , , - , , . , , , ?
, . page cache , , , , , .
- , , - . pull request, , in join โ .
, . โ . , , limit 10. , limit 10,10. . , ? , .
, ClickHouse โ ClickHouse Proxy.
: ClickHouse Proxy . , . Proxy , , , . , Proxy , ClickHouse .
Nginx , . Nginx , , , , . ClickHouse Proxy . ClickHouse, , . .
?
, - โ , . - , . - , . ?
โ . - ยซ ยป, ?
, . , , , .
. , , . โOkโ insert, , .
. โOkโ, . ClickHouse, , . , , . โ . , , . .
, . , .
. , . , , . , , , . โ insert. .
. . , , , , . , . , .
: . , , , โ . , , , . , โ . .
? , โ , . - , . , , , . - , , .
API โ ClickHouse . API : , , , . , , . , ClickHouse.
API - โ , โ , . , . - . , .
ClickHouse . , , ?
ClickHouse , . - , . , . , , , - .
ClickHouse, , , ? , ClickHouse โ . , . .
, . - 60 ClickHouse, , , , - . ยซ.ยป. , . .
ยซยป Grafana, . . , . , Graphite-web. . , Grafana, , .
. : CPU, , , . โ , , , MergeTree, , , , . , , .
: , . Grafana. Grafana datasource, ClickHouse. Grafana ClickHouse. ClickHouse , . Grafana , . .
. โ , Grafana , ยซยป ?
: datasource, ClickHouse, Altinity. , . , ยซยป - ClickHouse, . Altinity โ , ClickHouse. , . , Grafana, โ .
: ClickHouse . . , , . , , . - , .
, , โ , . -, , . . , , : ยซ, - Grafana?ยป, : ยซ Grafana, โโ, , . , , ยป.
, OOM?
, , ReplacingMergeTree. . - .
, , OOM. , , , OOM. . .
, , . , . - . , , , โ - ? , , , .
, ยซยป, , , . , . , , , , . ? , - , - , - , , . OOM . , .
, OOM, . .
: . , , , , , , , . 100 . 150 , 100 , 50 , OOM .
, OOM, 100 ? , ?
: , . , , - , , . โ , , . , , , , .
, , ยซ ยป OOM. , , - , , โ . .
Golang- ClickHouse?
Golang-, , ClickHouse. ClickHouse, .
. โ Vertica. python-, Vertica. , , - . . , , ยซยป โ issue, .
. Golang- โ Golang ClickHouse. - http , . ? - breaking changes ? issue?
: โ . , .
issue, . , . , - . - ClickHouse. , , ClickHouse . , .
ClickHouse, - . โ , . , .
Go, , Go. โ . - , , - . CloudFlare , - , . ClickHouse , .
- , ClickHouse . issues . , - . pull request - , .
. , , ClickHouse . , , . , 2 - .
, . . - , , . ยซยป .
: . โ , Go. - , .
. โ , , -, - .
lazy_load. ?
lazy_load, . , . . - ClickHouse , , ?
ClickHouse, . ?
-, system reload dictionaries. -, โ , , . , .
. , MySQL. - select, select . . โ lazy_load. โ , , , system reload dictionary , . . lazy_load, ClickHouse .
โ , .
, system reload dictionaries , ?
system reload dictionaries. โ , . System reload dictionaries , c system reload dictionary. ClickHouse?
. . , ClickHouse, . system reload dictionaries, , , .
ClickHouse, ?
, , . ClickHouse , .
ODBC. - ClickHouse, ?
โ credentials odbc.ini, ClickHouse ODBC Data Source Name. โ MySQL, . ODBC โ , .
:
. , .
