Dans notre agrégation LAN, il y avait six paires de commutateurs Arista DCS-7050CX3-32S et une paire de commutateurs Brocade VDX 6940-36Q. Ce n'est pas que les commutateurs Brocade sur ce réseau ont exercé une grande pression sur nous, ils travaillent et remplissent leurs fonctions, mais nous préparions l'automatisation complète de certaines actions, et nous n'avions pas ces capacités sur ces commutateurs. Je voulais également passer des interfaces 40GE à la possibilité d'utiliser 100GE pour faire une réserve pour les 2-3 prochaines années. Nous avons donc décidé d'échanger Brocade contre Arista.Ces commutateurs sont des commutateurs d'agrégation LAN pour chaque centre de données. Les commutateurs de distribution (le deuxième niveau d'agrégation) leur sont directement connectés, qui sont déjà assemblés en eux-mêmes Commutateurs LAN haut de gamme dans des racks de serveurs.Chaque serveur est inclus dans un ou deux commutateurs d'accès. Les commutateurs d'accès sont connectés à une paire de commutateurs de distribution (deux commutateurs de distribution et deux liaisons physiques du commutateur d'accès à différents commutateurs de distribution sont utilisés pour la redondance).Chaque serveur peut être utilisé par son client, donc un VLAN distinct est alloué au client. Le même VLAN est ensuite attribué à un autre serveur de ce client dans n'importe quel rack. Le centre de données se compose de plusieurs lignes de ce type (POD), chaque ligne de racks possède ses propres commutateurs de distribution. Ces commutateurs de distribution sont ensuite connectés aux commutateurs d'agrégation.Les clients peuvent commander un serveur dans n'importe quelle ligne, il est impossible de prévoir à l'avance que le serveur sera alloué ou installé dans une ligne particulière dans un rack particulier.Par conséquent, il y a environ 2500 VLAN dans chaque centre de données sur des commutateurs d'agrégation.L'équipement pour DCI (Data-Center Interconnect) se connecte aux commutateurs d'agrégation. Il peut être utilisé pour la connectivité L2 (une paire de commutateurs formant un tunnel VXLAN vers un autre centre de données) et pour la connectivité L3 (deux routeurs MPLS).Comme je l'ai déjà écrit, afin d'unifier les processus d'automatisation de la configuration des services sur les équipements d'un même centre de données, il a fallu remplacer les commutateurs d'agrégation centralisés. Nous avons installé de nouveaux commutateurs à côté des commutateurs existants, les avons combinés en une paire MLAG et avons commencé à nous préparer pour le travail. Ils ont été immédiatement connectés aux commutateurs d'agrégation existants, de sorte qu'ils avaient un domaine L2 commun sur tous les VLAN clients.Détails du circuit
Par spécificité, nous appellerons les anciens commutateurs d'agrégation A1 et A2 , les nouveaux - N1 et N2 . Imaginez que dans POD 1 et POD 4, il existe des serveurs d'un client C1 , le VLAN du client est indiqué en bleu. Ce client utilise le service de connectivité L2 avec un autre centre de données, de sorte que son VLAN est servi sur une paire de commutateurs VXLAN.Le client C2 place les serveurs dans POD 2 et POD 3 , nous désignons le VLAN du client comme vert foncé. Ce client utilise également le service de connectivité avec un autre centre de données, mais L3, de sorte que son VLAN est servi sur une paire de routeurs L3VPN.Nous avons besoin des VLAN clients pour comprendre à quelles étapes du travail de remplacement ce qui se passe, où la coupure de communication se produit et quelle peut être sa durée. Le protocole STP n'est pas utilisé dans ce schéma, car la largeur de l'arborescence dans ce cas est grande et la convergence du protocole croît de façon exponentielle à partir du nombre d'appareils et de liens entre eux.Tous les appareils connectés par des liaisons doubles forment une pile, une paire MLAG ou une usine VCS-Ethernet. Ces technologies ne sont pas utilisées pour une paire de routeurs L3VPN, car il n'y a pas besoin de redondance L2, il suffit qu'ils aient une connectivité L2 entre eux via des commutateurs d'agrégation.Options d'implémentation
En analysant les options pour d'autres événements, nous avons réalisé qu'il existe plusieurs façons de réaliser ces travaux. D'une interruption globale sur l'ensemble du réseau local à de petites interruptions littérales de 1 à 2 secondes dans certaines parties du réseau.Réseau, debout! Commutateurs, remplacez!
La façon la plus simple - est, bien sûr, annoncent un lien de rupture dans tous les POD mondiaux et tous les services DCI et passer tous les liens du commutateur A dans les commutateurs de N .En plus de la rupture, dont nous ne pouvons garantir le temps (oui, nous connaissons le nombre de liens, mais nous ne savons pas combien de fois quelque chose va mal - d'un cordon de raccordement cassé ou d'un connecteur endommagé à un port ou un dysfonctionnement de l'émetteur-récepteur), nous ne pouvons toujours pas pour prévoir à l'avance si la longueur des cordons de brassage, DAC, AOC, connectés aux anciens commutateurs A, est suffisante pour les atteindre, bien que se trouvant à côté d'eux, mais toujours légèrement séparés, les nouveaux commutateurs N, et si les mêmes émetteurs-récepteurs fonctionneront / DAC / AOC des commutateurs Brocade dans les commutateurs Arista.Et tout cela dans des conditions de forte pression des clients et du support technique ("Natasha, lève-toi! Natasha, tout ne fonctionne pas là-bas! Natasha, nous avons déjà écrit le support technique, honnêtement, honnêtement! Natasha, ils ont déjà tout lâché là-bas! Natasha, mais combien n'a pas ça va marcher? Natasha, et quand ça marche?! "). Même malgré une interruption annoncée au préalable et une notification aux clients, un afflux d'appels à un tel moment est garanti.Attendez, 1-2-3-4!
Et sinon pour déclarer une rupture globale, mais pour annoncer une série de petites ruptures de communication sur les services POD et DCI. Lors de la première interruption, ne commutez que les commutateurs POD 1 à N , dans le second - après quelques jours - POD 2 , puis après quelques jours POD 3 , puis POD 4 ... [N] , puis les commutateurs VXLAN, puis les routeurs L3VPN.Avec une telle organisation de changement de travail, nous réduisons la complexité du travail ponctuel et augmentons notre temps pour résoudre les problèmes en cas de problème soudain. La connectivité du POD 1 après la commutation avec d'autres POD et DCI n'est pas perdue. Mais le travail lui-même est retardé pendant longtemps, pendant le temps de ce travail dans le centre de données, un ingénieur est tenu d'effectuer physiquement la commutation, et pendant le travail (et ce travail est généralement effectué la nuit, de 2 à 5 heures du matin), la présence d'un ingénieur réseau en ligne est assez élevée qualifications. Mais nous obtenons de courtes pauses dans la communication, en règle générale, le travail peut être effectué dans l'intervalle d'une demi-heure avec une pause pouvant aller jusqu'à 2 minutes (en pratique, souvent 20-30 secondes avec le comportement attendu de l'équipement).Dans l'exemple ci-dessus, client C1 ou client C2 vous devrez avertir du travail avec une interruption des communications au moins trois fois - la première fois pour effectuer un travail sur un POD, dans lequel l'un de ses serveurs est situé, la deuxième fois - sur le deuxième et la troisième fois - lors du changement d'équipement pour les services DCI.Changement de canaux de communication agrégés
Pourquoi parlons-nous du comportement attendu de l'équipement et comment les canaux agrégés peuvent-ils commuter avec une minimisation des interruptions de communication? Imaginez l'image suivante:D'une part, le lien est les commutateurs de distribution POD - D1 et D2 , ils forment une paire MLAG (pile, usine VCS, paire vPC), d'autre part deux liens - Link 1 et Link 2 - sont inclus dans l'ancienne paire MLAG commutateur agrégation A . Du côté des commutateurs D constituaient une interface agrégée appelée Port-canal A , du côté des commutateurs d'agrégation A - une interface agrégée appelée Port D-canal .Les interfaces agrégées utilisent LACP dans leur travail, c'est-à-dire que les commutateurs des deux côtés échangent régulièrement des paquets LACPDU sur les deux liaisons pour s'assurer que les liaisons:Lors de l'échange de paquets dans un paquet, la valeur d' ID système est transmise , ce qui indique le périphérique sur lequel ces liens sont inclus. Pour une paire MLAG (pile, usine, etc.), la valeur de system-id pour les périphériques formant l'interface agrégée est la même. Le commutateur D1 envoie un système ID-D de valeur de liaison 1 , et le commutateur D2 envoie un système ID-D de valeur de liaison 2 . Les commutateurs A1 et A2 analysent les paquets LACPDU reçus sur la même interface Po D et vérifient que l'ID système en eux correspond. Si l'ID système reçu par un lien diffère soudainement de la valeur de travail actuelle, ce lien est supprimé de l'interface agrégée jusqu'à ce que la situation soit corrigée. Maintenant , nous passons à côté D la valeur actuelle du système-id LACP-partenaire - A , et les commutateurs du côté A - la valeur du système actuel de id LACP-partenaire - D .Si vous devez changer l'interface agrégée, nous pouvons procéder de deux manières différentes:
Méthode 1 - SimpleA. .
N, LACP,
Po D N system-id N.
Méthode 2 - Minimisez la pause2 Link 2.
D , .
Link 2 N2.
N Po DN,
N2 LACPDU
system-id N. ,
N2 ,
Link 2,
Up, LACPDU .
,
D2 Po A Link 2 system-id N, system-id A,
D Link 2 Po A.
N Link 2 , LACP-
D2.
Link 2 .
Link 1 A1,
D . ,
D system-id
Po A.
D N system-id
A-N Po A Po DN,
Link 2. , , 2 .
Link 1 N1,
Po A Po DN. system-id , .
Liens supplémentaires
Mais la commutation peut se faire sans la présence d'un ingénieur au moment de la commutation. Pour ce faire, nous avons besoin d' effectuer une pré-lay liens supplémentaires entre les D commutateurs de distribution et les nouveaux N commutateurs d'agrégation .Nous établissons de nouveaux liens entre N commutateurs d' agrégation et tous les commutateurs de distribution POD. Cela nécessite l' ordre et la pose des câbles de raccordement supplémentaires et installer des émetteurs - récepteurs supplémentaires dans les deux N , et D . Nous pouvons le faire parce que nous avons des ports libres dans les commutateurs D de chaque POD (ou nous les libérons d'abord). En conséquence, chaque POD est physiquement connecté par deux liaisons aux anciens commutateurs A et aux nouveaux commutateurs N.Deux interfaces agrégées sont formées sur le commutateur D - Po A avec les liaisons Link 1 et Link 2 , et Po N avec les liaisons Link N1 et Link N2 . À ce stade, nous vérifions la connexion correcte des interfaces et des liaisons, les niveaux de signaux optiques aux deux extrémités des liaisons (via les informations DDM des commutateurs), nous pouvons même vérifier la capacité de travail de la liaison sous charge ou surveiller l'état des signaux optiques et les températures de l'émetteur-récepteur pendant quelques jours.Le trafic est toujours transmis via l' interface Po A , tandis que l'interface Po N est exempte de trafic. Les paramètres sur les interfaces sont approximativement les suivants:Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2
Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan none
Les commutateurs D, en règle générale, prennent en charge le changement de configuration de session; ces modèles de commutateur qui ont cette fonctionnalité sont utilisés. Nous pouvons donc modifier les paramètres des interfaces Po A et Po N en une seule fois:Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
Commit
Ensuite, le changement de configuration se produira assez rapidement, et la pause ne sera, en pratique, pas plus de 5 secondes.Cette méthode nous permet d'effectuer à l'avance tous les travaux préparatoires, d'effectuer toutes les vérifications nécessaires, de coordonner le travail avec les participants au processus, de prévoir en détail les actions pour la production de travaux, sans travail créatif, lorsque «tout s'est mal passé», et d'avoir en main un plan de retour à la configuration précédente. Le travail sur ce plan est effectué par un ingénieur réseau sans la présence d'un centre de données sur site de l'ingénieur qui effectue physiquement la commutation.Ce qui est plus important avec cette méthode de commutation - tous les nouveaux liens sont déjà préréglés pour la surveillance. Erreurs, inclusion de liens dans l'unité, chargement des liens - toutes les informations nécessaires sont déjà dans le système de surveillance, et elles sont déjà dessinées sur les cartes.Jour J
Cosse
Nous avons choisi le moins douloureux pour les clients et le moins enclin au commutateur "quelque chose s'est mal passé" avec des liens supplémentaires. Donc, pendant quelques nuits, nous avons commuté tous les POD vers les nouveaux commutateurs d'agrégation.Mais il reste à changer d'équipement fournissant des services DCI.L2
Dans le cas d'équipements fournissant une connectivité L2, nous n'avons pas pu effectuer de travaux similaires avec des liaisons supplémentaires. Il y a au moins deux raisons à cela:- Manque de ports libres de la vitesse requise sur les commutateurs VXLAN.
- Manque de fonctionnalités pour les modifications de configuration de session sur les commutateurs VXLAN.
Nous n'avons pas changé les liens «un à la fois» avec une interruption uniquement pendant la durée de l'approbation d'une nouvelle paire d'ID système, car nous n'avions pas 100% de confiance que la procédure serait correcte, et un test en laboratoire a montré que, dans le cas si «quelque chose ne va pas», nous obtenons toujours une coupure de connexion, et le pire n'est pas seulement pour les clients qui ont une connectivité L2 avec d'autres centres de données, mais pour tous les clients de ce centre de données en général.Nous avons effectué un travail de propagande sur la commutation des canaux L2 à l'avance, de sorte que le nombre de clients concernés par les travaux sur les commutateurs VXLAN était déjà plusieurs fois inférieur à il y a un an. En conséquence, nous avons décidé d'interrompre la communication sur le service de connectivité L2, à condition de maintenir le fonctionnement normal des services de réseau local dans un centre de données. De plus, le SLA de ce service prévoit la possibilité de travaux planifiés avec interruption.L3
Pourquoi avons-nous recommandé à tout le monde de passer à l'utilisation de L3VPN lors de l'organisation des services DCI? L'une des raisons est la possibilité de travailler sur l'un des routeurs qui fournissent ce service, simplement avec une réduction du niveau de redondance à N + 0, sans interruption de communication.Examinez de plus près le système de prestation de services. Dans ce service, le segment L2 passe des serveurs clients uniquement aux routeurs Selectel L3VPN. Sur les routeurs, le réseau client est terminé.Chaque serveur client, par exemple, S2 et S3 dans le diagramme ci-dessus, a ses propres adresses IP privées - 10.0.0.2/24 pour le serveur S2 et 10.0.0.3/24 pour le serveur S3 . Adresses 10.0.0.252/24 et 10.0.0.253/24attribué par Selectel aux routeurs L3VPN-1 et L3VPN-2 , respectivement. L'adresse IP 10.0.0.254/24 est une adresse VIP VRRP sur les routeurs Selectel.Vous pouvez en savoir plus sur le service L3VPN sur notre blog.
Jusqu'au moment de la commutation, tout ressemblait approximativement au schéma:Deux routeurs L3VPN-1 et L3VPN-2 ont été connectés à l'ancienne agrégation du commutateur A . Le maître pour les adresses VIP VRRP 10.0.0.254 est le routeur L3VPN-1 . Il a une priorité définie sur cette adresse supérieure à celle du routeur L3VPN-2 .unit 1006 {
description C2;
vlan-id 1006;
family inet {
address 10.0.0.252/24 {
vrrp-group 1 {
priority 200;
virtual-address 10.100.0.254;
preempt {
hold-time 120;
}
accept-data;
}
}
}
}
Le serveur S2 utilise la passerelle 10.0.0.254 pour communiquer avec les serveurs d'autres emplacements. Ainsi, la déconnexion du routeur L3VPN-2 du réseau (bien sûr, si vous le déconnectez d'abord du domaine MPLS) n'affecte pas la connectivité des serveurs clients. À ce stade, le niveau de redondance du circuit diminue simplement.Après cela, nous pouvons reconnecter en toute sécurité le routeur L3VPN-2 à la paire de N commutateurs . Disposez les liens, changez les émetteurs-récepteurs. Les interfaces logiques du routeur, dont dépend le travail des services clients, jusqu'à la confirmation que tout fonctionne comme il se doit, sont désactivées.Après avoir vérifié les liens, les émetteurs-récepteurs, les niveaux de signal, les niveaux d'erreur sur les interfaces, le routeur se met en service, mais est déjà connecté à une nouvelle paire de commutateurs.Ensuite, nous diminuons la priorité VRRP du routeur L3VPN-1, et l'adresse VIP 10.0.0.254 se déplace vers le routeur L3VPN-2. Ces travaux sont également effectués sans interruption de communication.Transfert adresse VIP au routeur 10.0.0.254 L3VPN-2 vous permet de désactiver le routeur L3VPN-1 sans interruption de contact pour le client et le connecter à une nouvelle paire de commutateurs d' agrégation de N .Que ce soit pour renvoyer VRRP VIP au routeur L3VPN-1 est une autre question, et si vous revenez, cela se fait sans interruption.Total
Après toutes ces étapes, nous avons vraiment remplacé les commutateurs d'agrégation dans l'un de nos centres de données, tout en minimisant les interruptions pour nos clients.Il ne reste plus qu'à démanteler. Démontage d'anciens commutateurs, démantèlement d'anciennes liaisons entre les commutateurs A et D, démontage des émetteurs-récepteurs de ces liaisons, correction de la surveillance, fixation des schémas de réseau dans la documentation et la surveillance.Nous pouvons utiliser des commutateurs, des émetteurs-récepteurs, des cordons de raccordement, AOC, DAC après la commutation, dans d'autres projets ou toute autre commutation similaire."Natasha, nous avons tout changé!"