Matériaux de Kafka mitap: connecteurs СDC, problèmes de croissance, Kubernetes

salut! Récemment, dans notre bureau, il y a eu une réunion sur Kafka. Des lieux à plein temps éparpillés sur lui à la vitesse de la lumière. Comme l'a dit l'un des orateurs: «Kafka est sexy.»


Avec des collègues de Booking.com, Confluent et Avito, nous avons parfois discuté de la difficile intégration et du support de Kafka, des conséquences du croisement avec Kubernetes, ainsi que des connecteurs bien connus et écrits à la main pour PostgreSQL


Nous avons édité des rapports vidéo, collecté des présentations de conférenciers et sélectionné de belles photos de la réunion. Si vous souhaitez regarder et écouter, passez sous le chat.



Enregistrements vidéo


Connecteurs: pourquoi ĂŞtes-vous si nombreux - Anatoly Soldatov, Avito


Anatoly a expliqué ce que sont les connecteurs, quels sont les avantages et les inconvénients de JDBC et Debezium, et comment nous, chez Avito, avons eu l'idée d'écrire notre propre connecteur CDC.



00:00 —
04:09 — Kafka Connect,
18:10 —   Connect
23:47 — : data-bus
28:20 — : CDC
41:28 —  


→

Apache Kafka? Booking.com — , Booking.com


,    , .



00:00 —
06:22 —
08:58 —
14:15 —
23:53 — ontrol plane,
27:41 —
34:00 —  


→

Kafka Kubernetes:   ? — , Confluent


 , Apache Kafka  Kubernetes.



00:00 —
05:19 — stateful- Kubernates
17:52 — Kubernetes pod
22:33 —
28:24 — Custom Kubernetes controllers
48:58 — Rolling upgrade
58:05 —


→

    -.



    . , , ,  .



    .   !

Source: https://habr.com/ru/post/undefined/


All Articles