In unserer LAN-Aggregation gab es sechs Paare von Arista DCS-7050CX3-32S-Switches und ein Paar Brocade VDX 6940-36Q-Switches. Es ist nicht so, dass Brocade-Switches in diesem Netzwerk uns stark belastet haben, sie arbeiten und führen ihre Funktionen aus, aber wir haben die vollständige Automatisierung einiger Aktionen vorbereitet, und wir hatten diese Funktionen für diese Switches nicht. Ich wollte auch von 40GE-Schnittstellen auf die Möglichkeit umsteigen, mit 100GE eine Reserve für die nächsten 2-3 Jahre zu bilden. Also beschlossen wir, Brocade gegen Arista auszutauschen.Diese Switches sind LAN-Aggregations-Switches für jedes Rechenzentrum. Verteilungs-Switches (die zweite Aggregationsebene) sind direkt mit ihnen verbunden, die bereits in sich zusammengebaut sind. Top-of-Rack-LAN-Switches in Server-Racks.Jeder Server ist in einem oder zwei Zugriffsschaltern enthalten. Zugriffsschalter sind mit einem Paar von Verteilungsschaltern verbunden (zwei Verteilungsschalter und zwei physische Verbindungen vom Zugriffsschalter zu verschiedenen Verteilungsschaltern werden aus Redundanzgründen verwendet).Jeder Server kann von seinem Client verwendet werden, sodass dem Client ein separates VLAN zugewiesen wird. Das gleiche VLAN wird dann einem anderen Server dieses Clients in einem beliebigen Rack zugewiesen. Das Rechenzentrum besteht aus mehreren solchen Reihen (PODs). Jede Reihe von Racks verfügt über eigene Verteilungsschalter. Diese Verteilungsschalter werden dann mit den Aggregationsschaltern verbunden.Clients können einen Server in einer beliebigen Zeile bestellen. Es ist nicht vorhersehbar, dass der Server in einer bestimmten Zeile in einem bestimmten Rack zugewiesen oder installiert wird. Daher befinden sich in jedem Rechenzentrum etwa 2500 VLANs auf Aggregations-Switches.Geräte für DCI (Data-Center Interconnect) werden mit den Aggregationsschaltern verbunden. Es kann für die L2-Konnektivität (zwei Switches, die einen VXLAN-Tunnel zu einem anderen Rechenzentrum bilden) und für die L3-Konnektivität (zwei MPLS-Router) verwendet werden.Wie ich bereits schrieb, war es notwendig, zentrale Aggregationsschalter zu ersetzen, um die Prozesse zur Automatisierung der Konfiguration von Diensten auf Geräten in einem Rechenzentrum zu vereinheitlichen. Wir installierten neue Schalter neben den vorhandenen, kombinierten sie zu einem MLAG-Paar und bereiteten uns auf die Arbeit vor. Sie wurden sofort mit vorhandenen Aggregations-Switches verbunden, sodass sie über alle Client-VLANs hinweg eine gemeinsame L2-Domäne hatten.Schaltungsdetails
Aus Gründen der Spezifität werden wir die alten Aggregationsschalter A1 und A2 , die neuen N1 und N2 nennen . Stellen Sie sich vor, dass in POD 1 und POD 4 Server eines Clients C1 vorhanden sind und das VLAN des Clients blau angezeigt wird. Dieser Client verwendet den L2-Konnektivitätsdienst mit einem anderen Rechenzentrum, sodass sein VLAN auf zwei VXLAN-Switches bereitgestellt wird.Client C2 platziert die Server in POD 2 und POD 3 , wir bezeichnen das VLAN des Clients als dunkelgrün. Dieser Client verwendet den Konnektivitätsdienst auch mit einem anderen Rechenzentrum, jedoch mit L3, sodass sein VLAN auf einem Paar von L3VPN-Routern bereitgestellt wird.Wir benötigen Client-VLANs, um zu verstehen, in welchen Phasen der Austauscharbeiten was passiert, wo die Kommunikationsunterbrechung auftritt und wie lange sie dauern kann. Das STP-Protokoll wird in diesem Schema nicht verwendet, da die Breite des Baums in diesem Fall groß ist und die Konvergenz des Protokolls exponentiell von der Anzahl der Geräte und Verbindungen zwischen ihnen zunimmt.Alle über Doppelverbindungen verbundenen Geräte bilden einen Stack, ein MLAG-Paar oder eine VCS-Ethernet-Factory. Solche Technologien werden nicht für ein Paar L3VPN-Router verwendet, da keine L2-Redundanz erforderlich ist. Es reicht aus, wenn sie über Aggregations-Switches über eine L2-Konnektivität verfügen.Implementierungsoptionen
Bei der Analyse der Optionen für weitere Ereignisse haben wir festgestellt, dass es verschiedene Möglichkeiten gibt, diese Arbeiten auszuführen. Von einer globalen Unterbrechung im gesamten lokalen Netzwerk bis hin zu kleinen Unterbrechungen von buchstäblich 1-2 Sekunden in Teilen des Netzwerks.Netzwerk, steh! Schalter ersetzen!
Der einfachste Weg - ist natürlich, eine globale Unterbrechung in allen POD- und allen Dienst-DCI anzukündigen und alle Verbindungen von dem Schalter A in den Schaltern von N zu schalten .Zusätzlich zu der Unterbrechung, deren Vorhersage wir nicht garantieren können (ja, wir kennen die Anzahl der Verbindungen, aber wir wissen nicht, wie oft etwas schief gehen wird - von einem defekten Patchkabel oder einem beschädigten Stecker bis zu einer Fehlfunktion eines Anschlusses oder Transceivers), können wir dies immer noch nicht Um im Voraus vorherzusagen, ob die Länge der Patchkabel DAC, AOC, die an die alten Schalter A angeschlossen sind, ausreicht, um sie zu erreichen, obwohl sie neben ihnen stehen, aber immer noch leicht voneinander entfernt sind, funktionieren die neuen Schalter N und ob dieselben Transceiver funktionieren / DAC / AOC von Brocade-Switches in Arista-Switches.Und das alles unter Bedingungen des starken Drucks von Kunden und technischem Support ("Natasha, steh auf! Natasha, dort funktioniert nicht alles! Natasha, wir haben bereits technischen Support geschrieben, ehrlich, ehrlich! Natasha, sie haben bereits alles dort abgelegt! Natasha, aber wie viel nicht wird es funktionieren? Natasha, und wenn es funktioniert ?! ”). Trotz einer vorab angekündigten Unterbrechung und Benachrichtigung der Kunden ist ein Zufluss von Anrufen zu einem solchen Zeitpunkt garantiert.Warten Sie, 1-2-3-4!
Und wenn nicht, um eine globale Unterbrechung zu erklären, sondern um eine Reihe kleiner Unterbrechungen in der Kommunikation über POD- und DCI-Dienste anzukündigen. In der ersten Pause schalten Sie nur POD 1 auf N Schalter um , in der zweiten - nach ein paar Tagen - POD 2 , dann nach ein paar Tagen POD 3 , dann POD 4 ... [N] , dann VXLAN-Schalter und dann L3VPN-Router.Mit einer solchen Organisation der Wechselarbeit reduzieren wir die Komplexität der einmaligen Arbeit und erhöhen unsere Zeit für die Lösung von Problemen, wenn plötzlich etwas schief geht. Die POD 1-Konnektivität nach dem Umschalten mit einem anderen POD und DCI geht nicht verloren. Die Arbeit selbst verzögert sich jedoch um eine lange Zeit. Für die Zeit dieser Arbeit im Rechenzentrum muss ein Techniker die Umschaltung physisch durchführen, und während der Arbeit (und diese Arbeit wird normalerweise nachts von 2 bis 5 Uhr morgens ausgeführt) ist die Anwesenheit eines Online-Netzwerktechnikers recht hoch Qualifikationen. Wir erhalten jedoch kurze Kommunikationspausen. In der Regel können Arbeiten im Halbstundenintervall mit einer Pause von bis zu 2 Minuten ausgeführt werden (in der Praxis häufig 20 bis 30 Sekunden mit dem erwarteten Verhalten der Geräte).Im obigen Beispiel Client C1 oder Client C2 Sie müssen mindestens dreimal vor Arbeiten mit Kommunikationsunterbrechungen warnen - das erste Mal, wenn Arbeiten an einem POD ausgeführt werden, auf dem sich einer seiner Server befindet, das zweite Mal - beim zweiten und dritten Mal -, wenn Geräte für DCI-Dienste gewechselt werden.Aggregierte Kommunikationskanäle wechseln
Warum sprechen wir über das erwartete Verhalten der Geräte und wie können aggregierte Kanäle bei Minimierung von Kommunikationsunterbrechungen umgeschaltet werden? Stellen Sie sich folgendes Bild vor:Einerseits bilden die Link-POD-Verteilungsschalter D1 und D2 ein MLAG-Paar (Stack, VCS-Factory, vPC-Paar), andererseits sind zwei Links - Link 1 und Link 2 - im alten MLAG-Paar enthalten Aggregationsschalter A . Auf der Seite bildeten die Schalter D eine Aggregatschnittstelle, die als Port-Kanal A bezeichnet wurde , auf der Seite der Aggregationsschalter A - eine Aggregatschnittstelle, die als Port D-Kanal bezeichnet wurde .Aggregierte Schnittstellen verwenden LACP in ihrer Arbeit, dh die Switches auf beiden Seiten tauschen regelmäßig LACPDU-Pakete auf beiden Links aus, um sicherzustellen, dass die Links:Beim Austausch von Paketen in einem Paket wird der System-ID- Wert übertragen , der das Gerät angibt, auf dem diese Verbindungen enthalten sind. Für ein MLAG-Paar (Stack, Factory usw.) ist der Wert der System-ID für die Geräte, die die aggregierte Schnittstelle bilden, der gleiche. Der Schalter D1 sendet eine Link 1- Wertesystem -ID-D , und der Schalter D2 sendet eine Link 2- Wertesystem -ID-D .Die Switches A1 und A2 analysieren die auf derselben Po D-Schnittstelle empfangenen LACPDU-Pakete und überprüfen, ob die darin enthaltene System-ID übereinstimmt. Wenn die von einer Verbindung empfangene System-ID plötzlich vom aktuellen Arbeitswert abweichtDann wird dieser Link von der aggregierten Schnittstelle entfernt, bis die Situation korrigiert ist. Jetzt wechseln wir zur Seite D den aktuellen Wert der System-ID LACP-Partner - A und schalten auf Seite A - den aktuellen System-ID-Wert des LACP-Partners - D um .Wenn Sie die aggregierte Schnittstelle wechseln müssen, haben wir zwei verschiedene Möglichkeiten:
Methode 1 - EinfachA. .
N, LACP,
Po D N system-id N.
Methode 2 - Pause minimieren2 Link 2.
D , .
Link 2 N2.
N Po DN,
N2 LACPDU
system-id N. ,
N2 ,
Link 2,
Up, LACPDU .
,
D2 Po A Link 2 system-id N, system-id A,
D Link 2 Po A.
N Link 2 , LACP-
D2.
Link 2 .
Link 1 A1,
D . ,
D system-id
Po A.
D N system-id
A-N Po A Po DN,
Link 2. , , 2 .
Link 1 N1,
Po A Po DN. system-id , .
Zusätzliche Links
Das Umschalten kann jedoch ohne die Anwesenheit eines Ingenieurs zum Zeitpunkt des Umschaltens erfolgen. Dazu müssen wir zusätzliche Verknüpfungen zwischen den D- Verteilungsschaltern und den neuen N- Aggregationsschaltern vorab herstellen .Wir stellen neue Verbindungen zwischen N Aggregationsschaltern und allen POD-Verteilungsschaltern her. Dies erfordert Ordnung und Verlegung zusätzlicher Patchkabel und zusätzliche Transceiver in beide installieren von N , und in D . Wir können dies tun, weil wir freie Ports in den D- Schaltern jedes POD haben (oder wir geben sie zuerst frei). Infolgedessen ist jeder POD physisch durch zwei Verbindungen mit den alten Schaltern A und den neuen Schaltern N verbunden.Zwei aggregierte Schnittstellen werden auf dem Schalter D - Po A mit den Verbindungen Link 1 und Link 2 und Po N mit den Verbindungen Link N1 und Link N2 gebildet . In dieser Phase überprüfen wir die korrekte Verbindung von Schnittstellen und Verbindungen, die Pegel der optischen Signale an beiden Enden der Verbindungen (über DDM-Informationen von den Switches), können sogar die Arbeitskapazität der Verbindung unter Last überprüfen oder den Status der optischen Signale und der Transceiver-Temperaturen für einige Tage überwachen.Der Verkehr wird weiterhin über die Po A- Schnittstelle übertragen, während die Po N- Schnittstelle frei von Verkehr ist. Die Einstellungen an den Schnittstellen sind ungefähr wie folgt:Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2
Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan none
Switches D unterstützen in der Regel Änderungen der Sitzungskonfiguration. Solche Switch-Modelle mit dieser Funktionalität werden verwendet. So können wir die Einstellungen der Po A- und Po N-Schnittstellen auf einmal ändern:Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
Commit
Dann erfolgt die Konfigurationsänderung schnell genug, und die Pause beträgt in der Praxis nicht mehr als 5 Sekunden.Diese Methode ermöglicht es uns, alle vorbereitenden Arbeiten im Voraus durchzuführen, alle erforderlichen Überprüfungen durchzuführen, die Arbeit mit den Teilnehmern des Prozesses zu koordinieren, die Maßnahmen für die Produktion von Arbeiten ohne kreative Arbeit detailliert vorherzusagen, wenn „alles schief gelaufen ist“, und einen Plan zur Rückkehr zur vorherigen Konfiguration zur Hand zu haben. Die Arbeiten an diesem Plan werden von einem Netzwerktechniker durchgeführt, ohne dass ein Rechenzentrum vor Ort des Ingenieurs vorhanden ist, der die Umschaltung physisch durchführt.Was bei dieser Schaltmethode wichtiger ist - alle neuen Links sind bereits für die Überwachung voreingestellt. Fehler, Aufnahme von Links in das Gerät, Laden von Links - alle notwendigen Informationen befinden sich bereits im Überwachungssystem und sind bereits auf den Karten verzeichnet.D-Tag
Pod
Wir haben den für Kunden am wenigsten schmerzhaften und am wenigsten anfälligen Schaltpfad "Etwas ist schief gelaufen" mit zusätzlichen Links ausgewählt. Für ein paar Nächte haben wir alle PODs auf die neuen Aggregationsschalter umgestellt.Es bleibt jedoch, Geräte zu wechseln, die DCI-Dienste bereitstellen.L2
Bei Geräten mit L2-Konnektivität konnten wir keine ähnlichen Arbeiten mit zusätzlichen Verbindungen ausführen. Dafür gibt es mindestens zwei Gründe:- Fehlende freie Ports mit der erforderlichen Geschwindigkeit für VXLAN-Switches.
- Fehlende Funktionalität für Änderungen der Sitzungskonfiguration auf VXLAN-Switches.
Wir haben die Links nicht "einzeln" mit einer Unterbrechung nur für die Dauer der Genehmigung eines neuen Paares von System-IDs gewechselt, da wir nicht 100% ig sicher waren, dass das Verfahren korrekt ist, und ein Test im Labor hat dies in diesem Fall gezeigt Wenn „etwas schief geht“, kommt es immer noch zu einer Verbindungsunterbrechung. Das Schlimmste ist nicht nur für Kunden, die über eine L2-Konnektivität mit anderen Rechenzentren verfügen, sondern für alle Kunden dieses Rechenzentrums im Allgemeinen.Wir haben vorab Propagandaarbeiten zum Umschalten von L2-Kanälen durchgeführt, sodass die Anzahl der Kunden, die von Operationen auf VXLAN-Switches betroffen waren, bereits vor einem Jahr um ein Vielfaches geringer war. Aus diesem Grund haben wir beschlossen, die Kommunikation mit dem L2-Konnektivitätsdienst zu unterbrechen, sofern wir den normalen Betrieb lokaler Netzwerkdienste in einem Rechenzentrum aufrechterhalten. Darüber hinaus bietet das SLA für diesen Dienst die Möglichkeit einer geplanten Arbeit mit einer Pause.L3
Warum haben wir jedem empfohlen, bei der Organisation von DCI-Diensten auf L3VPN umzusteigen? Einer der Gründe ist die Möglichkeit, auf einem der Router, die diesen Dienst bereitstellen, einfach mit einer Reduzierung des Redundanzniveaus auf N + 0 ohne Unterbrechung der Kommunikation zu arbeiten.Betrachten Sie das Schema der Leistungserbringung genauer. In diesem Dienst geht das L2-Segment nur von Client-Servern zu L3VPN Selectel-Routern. Auf Routern wird das Client-Netzwerk beendet.Jeder Client-Server, z. B. S2 und S3 im obigen Diagramm, hat seine eigenen privaten IP-Adressen - 10.0.0.2/24 für den S2-Server und 10.0.0.3/24 für den S3-Server . Adressen 10.0.0.252/24 und 10.0.0.253/24von Selectel den Routern L3VPN-1 bzw. L3VPN-2 zugewiesen . Die IP-Adresse 10.0.0.254/24 ist eine VRRP-VIP-Adresse auf Selectel-Routern.Sie können lesen Sie mehr über den L3VPN Service in unserem Blog.
Bis zum Zeitpunkt des Wechsels sah alles ungefähr so aus wie in der Abbildung:Zwei Router L3VPN-1 und L3VPN-2 wurden an die alte Switch-Aggregation A angeschlossen . Der Master für VRRP VIP-Adressen 10.0.0.254 ist der L3VPN-1- Router . Diese Adresse hat eine höhere Priorität als die des L3VPN-2- Routers .unit 1006 {
description C2;
vlan-id 1006;
family inet {
address 10.0.0.252/24 {
vrrp-group 1 {
priority 200;
virtual-address 10.100.0.254;
preempt {
hold-time 120;
}
accept-data;
}
}
}
}
Der S2-Server verwendet das 10.0.0.254-Gateway, um mit Servern an anderen Standorten zu kommunizieren. Das Trennen des L3VPN-2-Routers vom Netzwerk (natürlich, wenn Sie ihn zuerst von der MPLS-Domäne trennen) wirkt sich daher nicht auf die Konnektivität der Client-Server aus. Zu diesem Zeitpunkt nimmt der Redundanzpegel der Schaltung einfach ab.Danach können wir den L3VPN-2- Router sicher wieder mit dem Paar N- Switches verbinden . Layouts auslegen, Transceiver wechseln. Die logischen Schnittstellen des Routers, von denen die Arbeit der Clientdienste abhängt, werden deaktiviert, bis bestätigt wird, dass alles ordnungsgemäß funktioniert.Nach Überprüfung der Verbindungen, Transceiver, Signalpegel und Fehlerpegel an den Schnittstellen wird der Router in Betrieb genommen, ist jedoch bereits mit einem neuen Switch-Paar verbunden.Als nächstes senken wir die VRRP-Priorität des L3VPN-1-Routers und die VIP-Adresse 10.0.0.254 wird auf den L3VPN-2-Router verschoben. Diese Arbeiten werden auch ohne Unterbrechung der Kommunikation durchgeführt.VIP-Adresse an Router übertragen 10.0.0.254 Mit L3VPN-2 können Sie den Router L3VPN-1 ohne Unterbrechung des Kontakts für den Client deaktivieren und mit einem neuen Paar von Aggregationsschaltern von N verbinden .Es ist eine andere Frage, ob VRRP VIP an den L3VPN-1-Router zurückgegeben werden soll oder nicht. Wenn Sie zurückkehren, erfolgt dies ohne Unterbrechung.Gesamt
Nach all diesen Schritten haben wir die Aggregationsschalter in einem unserer Rechenzentren wirklich ersetzt und gleichzeitig die Pausen für unsere Kunden minimiert.Alles was bleibt ist der Abbau. Demontage alter Switches, Demontage alter Verbindungen zwischen Switches A und D, Demontage von Transceivern von diesen Verbindungen, Fixing Monitoring, Fixing Netzwerkdiagramme in Dokumentation und Überwachung.Wir können Switches, Transceiver, Patchkabel, AOC, DAC nach dem Switching in anderen Projekten oder ähnlichen Switches verwenden."Natasha, wir haben alles gewechselt!"