Unsere Cassandra-Migrationserfahrung zwischen Kubernetes-Clustern ohne Datenverlust

Aufgabe

• Die maximale Leerlaufzeit beträgt 2-3 Minuten, um diese Übertragung tatsächlich durchzuführen, während die Anwendung auf einen neuen Cluster übertragen wird.
• Übertragen Sie alle Daten ohne Verlust und Kopfschmerzen (d. H. Ohne zusätzliche Manipulationen).

• Cassandra-new - die neue Installation, die wir im neuen Kubernetes-Cluster starten werden;
• Cassandra-current - eine alte Installation, mit der derzeit Anwendungen arbeiten;
• Cassandra-temporär ist eine temporäre Installation, die wir neben Cassandra-current ausführen und nur für den Migrationsprozess selbst verwenden.

Wie soll ich sein?

1. Erhöhen Sie Cassandra-new mit einem neuen Operator in einem neuen Cluster.
2. Skaliere auf 0 Cassandra-neuer Cluster .
3. , PVC, .
4. Cassandra-temporary Cassandra-current , Cassandra-new.
5. Cassandra-temporary 0 ( ) Cassandra-temporary , Cassandra-temporary Cassandra-current. Cassandra - ( Cassandra ).
6. Übertragen von Daten zwischen Cassandra nur vorübergehend und Cassandra Strom Rechenzentren .
7. Skalieren Sie die Cassandra-aktuellen und Cassandra-temporären Cluster auf 0 und führen Sie Cassandra-new im neuen Cluster aus, ohne zu vergessen, die Festplatten zu werfen. Parallel dazu rollen wir Anwendungen in einen neuen Cluster.

Im Detail

Datacenter: x1
==============
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address     Load       Tokens       Owns    Host ID                               Rack
UN  10.244.6.5  790.7 GiB  256          ?       13cd0c7a-4f91-40d0-ac0e-e7c4a9ad584c  rack1
UN  10.244.7.5  770.9 GiB  256          ?       8527813a-e8df-4260-b89d-ceb317ef56ef  rack1
UN  10.244.5.5  825.07 GiB  256          ?       400172bf-6f7c-4709-81c6-980cb7c6db5c  rack1

create keyspace example with replication ={'class' : 'NetworkTopologyStrategy', 'x1':2};

use example;
CREATE TABLE example(id int PRIMARY KEY, name text, phone varint);
INSERT INTO example(id, name, phone) VALUES(1,'Masha', 983123123);
INSERT INTO example(id, name, phone) VALUES(2,'Sergey', 912121231);
INSERT INTO example(id, name, phone) VALUES(3,'Andrey', 914151617);

1. Wenn wir Cassandra-temporär starten , müssen wir denselben (mit Cassandra-aktuell ) Namen des Clusters angeben . Dies kann über eine Variable erfolgen CASSANDRA_CLUSTER_NAME.
2. Damit Cassandra-temporär den aktuellen Cluster sehen kann, müssen Sie die Startwerte festlegen. Dies erfolgt über eine Variable CASSANDRA_SEEDSoder über eine Konfiguration.

Datacenter: x1
==============
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address     Load       Tokens       Owns    Host ID                               Rack
UN  10.244.6.5  790.7 GiB  256          ?       13cd0c7a-4f91-40d0-ac0e-e7c4a9ad584c  rack1
UN  10.244.7.5  770.9 GiB  256          ?       8527813a-e8df-4260-b89d-ceb317ef56ef  rack1
UN  10.244.5.5  825.07 GiB  256          ?       400172bf-6f7c-4709-81c6-980cb7c6db5c  rack1

Datacenter: x2
===============
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address       Load       Tokens       Owns (effective)  Host ID                               Rack
UN  10.244.16.96  267.07 KiB  256          64.4%             3619841e-64a0-417d-a497-541ec602a996  rack1
UN  10.244.18.67  248.29 KiB  256          65.8%             07a2f571-400c-4728-b6f7-c95c26fe5b11  rack1
UN  10.244.16.95  265.85 KiB  256          69.8%             2f4738a2-68d6-4f9e-bf8f-2e1cfc07f791  rack1

ALTER KEYSPACE example WITH replication = {'class': 'NetworkTopologyStrategy', x1: 2, x2: 2};

nodetool rebuild -ks example x1

SELECT * FROM example;

 id | name   | phone
----+--------+-----------
  1 |  Masha | 983123123
  2 | Sergey | 912121231
  3 | Andrey | 914151617

(3 rows)

Platz- und Gedächtnismangel

nodetool clearsnapshot

failed; error='Cannot allocate memory' (errno=12)

sysctl -w vm.max_map_count=262144

Cluster-Switching

1. Skalieren Sie Cassandra-temporär und Cassandra-aktuell (vergessen Sie nicht, dass der Operator hier noch arbeitet!) Auf 0.
2. Switch Disks (es kommt darauf an, PV für Cassandra-new einzustellen ).
3. Wir starten Cassandra-new und verfolgen, ob die erforderlichen Festplatten angeschlossen sind.
4. Wir machen ALTERalle Tabellen, um den alten Cluster zu entfernen:
   
   

   ALTER KEYSPACE example WITH replication = {'class': 'NetworkTopologyStrategy', 'x2': 2};

5. Löschen Sie alle Knoten des alten Clusters. Führen Sie dazu einfach diesen Befehl in einem der Pods aus:
   
   

   nodetool removenode 3619841e-64a0-417d-a497-541ec602a996

Letzter Schliff mit Prometheus

Fazit

• Es dauert viel länger, ein Bild aufzunehmen und es zu übertragen.
• alles, was zu dieser Zeit in Cassandra geschrieben steht, geht verloren;
• In unserem Fall wäre dies ungefähr eine Stunde - anstelle von 3 Minuten, was sich als erfolgreich mit der Bereitstellung der Anwendung in einem neuen Cluster kombinierte.

PS

• " Cassandra Migration zu Kubernetes: Funktionen und Lösungen ";
• " Eine Geschichte mit dem Redis-Betreiber in K8s und eine kleine Übersicht der Dienstprogramme zur Analyse von Daten aus dieser Datenbank ";
• " Ungehinderte MongoDB-Migration nach Kubernetes ";
• " Ungehinderte RabbitMQ-Migration zu Kubernetes ";
• " Datenbanken und Kubernetes (Überprüfung und Videobericht) ."