Materiales de Kafka mitap: conectores СDC, problemas de crecimiento, Kubernetes

¡Hola! Recientemente en nuestra oficina hubo una reunión sobre Kafka. Lugares a tiempo completo esparcidos sobre él a la velocidad de la luz. Como dijo uno de los oradores: "Kafka es sexy".


Con colegas de Booking.com, Confluent y Avito, a veces discutimos la difícil integración y el apoyo de Kafka, las consecuencias de cruzarlo con Kubernetes, así como los conectores conocidos y escritos a mano para PostgreSQL


Editamos informes de video, recopilamos presentaciones de oradores y seleccionamos hermosas fotos de la reunión. Si estás interesado en mirar y escuchar, ve debajo del gato.



Grabaciones de video


Conectores: ¿por qué son tantos? - Anatoly Soldatov, Avito


Anatoly dijo qué son los conectores, qué ventajas y desventajas tienen JDBC y Debezium, y cómo en Avito se nos ocurrió la idea de escribir nuestro propio conector CDC.



00:00 —
04:09 — Kafka Connect,
18:10 —   Connect
23:47 — : data-bus
28:20 — : CDC
41:28 —  


→

Apache Kafka? Booking.com — , Booking.com


,    , .



00:00 —
06:22 —
08:58 —
14:15 —
23:53 — ontrol plane,
27:41 —
34:00 —  


→

Kafka Kubernetes:   ? — , Confluent


 , Apache Kafka  Kubernetes.



00:00 —
05:19 — stateful- Kubernates
17:52 — Kubernetes pod
22:33 —
28:24 — Custom Kubernetes controllers
48:58 — Rolling upgrade
58:05 —


→

    -.



    . , , ,  .



    .   !

Source: https://habr.com/ru/post/undefined/


All Articles