Olá! Recentemente, em nosso escritório, houve uma reunião sobre Kafka. Lugares de tempo integral se espalharam sobre ele na velocidade da luz. Como um dos oradores disse: "Kafka é sexy."
Com colegas da Booking.com, Confluent e Avito, discutimos algumas vezes a difícil integração e suporte do Kafka, as conseqüências de cruzá-lo com o Kubernetes, bem como os conectores conhecidos e escritos à mão do PostgreSQL
Editamos relatórios de vídeo, coletamos apresentações de palestrantes e selecionamos lindas fotos da reunião. Se você estiver interessado em assistir e ouvir, vá abaixo do gato.
Gravações de vídeo
Conectores: por que vocês são tantos - Anatoly Soldatov, Avito
Anatoly disse o que são conectores, quais vantagens e desvantagens o JDBC e o Debezium têm e como nós da Avito tivemos a idéia de escrever nosso próprio conector CDC.
00:00 —
04:09 — Kafka Connect,
18:10 — Connect
23:47 — : data-bus
28:20 — : CDC
41:28 —
→
, , .
00:00 —
06:22 —
08:58 —
14:15 —
23:53 — ontrol plane,
27:41 —
34:00 —
→
Kafka Kubernetes: ? — , Confluent
, Apache Kafka Kubernetes.
00:00 —
05:19 — stateful- Kubernates
17:52 — Kubernetes pod
22:33 —
28:24 — Custom Kubernetes controllers
48:58 — Rolling upgrade
58:05 —
→
-.
. , , , .
. !