En nuestra agregación LAN, había seis pares de conmutadores Arista DCS-7050CX3-32S y un par de conmutadores Brocade VDX 6940-36Q. No es que los conmutadores Brocade en esta red hayan ejercido mucha presión sobre nosotros, trabajan y realizan sus funciones, pero estábamos preparando la automatización total de algunas acciones, y no teníamos estas capacidades en estos conmutadores. También quería cambiar de las interfaces 40GE a la posibilidad de usar 100GE para hacer una reserva para los próximos 2-3 años. Entonces decidimos cambiar Brocade por Arista.Estos conmutadores son conmutadores de agregación LAN para cada centro de datos. Los conmutadores de distribución (el segundo nivel de agregación) se conectan directamente a ellos, que ya están ensamblados en ellos mismos. Los conmutadores LAN Top-of-Rack en los bastidores del servidor.Cada servidor está incluido en uno o dos conmutadores de acceso. Los conmutadores de acceso están conectados a un par de conmutadores de distribución (dos conmutadores de distribución y dos enlaces físicos desde el conmutador de acceso a diferentes conmutadores de distribución se utilizan para redundancia).Cada servidor puede ser utilizado por su cliente, por lo que se asigna una VLAN separada al cliente. La misma VLAN se asigna a otro servidor de este cliente en cualquier rack. El centro de datos consta de varias de esas filas (POD), cada fila de bastidores tiene sus propios conmutadores de distribución. Luego, estos conmutadores de distribución se conectan a los conmutadores de agregación.Los clientes pueden ordenar un servidor en cualquier fila, es imposible predecir de antemano que el servidor se asignará o instalará en una fila particular en un rack en particular, por lo tanto, hay alrededor de 2500 VLAN en cada centro de datos en los conmutadores de agregación.El equipo para DCI (Interconexión del centro de datos) se conecta a los conmutadores de agregación. Se puede usar para conectividad L2 (un par de conmutadores que forman un túnel VXLAN a otro centro de datos) y para conectividad L3 (dos enrutadores MPLS).Como ya escribí, para unificar los procesos de automatización de la configuración de servicios en equipos en un centro de datos, fue necesario reemplazar los conmutadores de agregación central. Instalamos nuevos interruptores junto a los existentes, los combinamos en un par MLAG y comenzamos a prepararnos para el trabajo. Se conectaron de inmediato a los conmutadores de agregación existentes, de modo que tenían un dominio L2 común en todas las VLAN de los clientes.Detalles del circuito
Por especificidad, llamaremos a los viejos conmutadores de agregación A1 y A2 , los nuevos: N1 y N2 . Imagine que en POD 1 y POD 4 hay servidores de un cliente C1 , la VLAN del cliente se indica en azul. Este cliente utiliza el servicio de conectividad L2 con otro centro de datos, por lo que su VLAN se sirve en un par de conmutadores VXLAN.El cliente C2 coloca los servidores en POD 2 y POD 3 , denotamos la VLAN del cliente como verde oscuro. Este cliente también usa el servicio de conectividad con otro centro de datos, pero L3, por lo que su VLAN se sirve en un par de enrutadores L3VPN.Necesitamos las VLAN del cliente para comprender en qué etapas del trabajo de reemplazo sucede, dónde se produce la interrupción de la comunicación y cuál puede ser su duración. El protocolo STP no se utiliza en este esquema, ya que el ancho del árbol en este caso es grande, y la convergencia del protocolo crece exponencialmente a partir del número de dispositivos y enlaces entre ellos.Todos los dispositivos conectados por enlaces dobles forman una pila, un par MLAG o una fábrica VCS-Ethernet. Dichas tecnologías no se utilizan para un par de enrutadores L3VPN, ya que no hay necesidad de redundancia L2, es suficiente que tengan conectividad L2 entre sí a través de conmutadores de agregación.Opciones de implementación
Al analizar las opciones para otros eventos, nos dimos cuenta de que hay varias formas de llevar a cabo estos trabajos. Desde una interrupción global en toda la red local, hasta pequeñas interrupciones de 1 a 2 segundos en partes de la red.Red, de pie! Interruptores, reemplazar!
La manera más fácil - es, por supuesto, anunciar una globales lazos de quiebre en todo el POD y todos los servicios de DNI y cambiar todos los enlaces desde el interruptor A en los conmutadores de N .Además del descanso, el tiempo que no podemos garantizar para predecir (sí, sabemos la cantidad de enlaces, pero no sabemos cuántas veces algo saldrá mal, desde un cable de conexión roto o un conector dañado hasta un puerto o transceptor defectuoso), aún no podemos para predecir de antemano si la longitud de los cables de conexión, DAC, AOC, conectados a los viejos interruptores A, es suficiente para alcanzarlos, aunque de pie junto a ellos, pero aún ligeramente separados, los nuevos interruptores N y si los mismos transceptores funcionarán / DAC / AOC de los conmutadores Brocade en los conmutadores Arista.Y todo esto en condiciones de severa presión por parte de los clientes y el soporte técnico ("Natasha, levántate, Natasha, ¡todo no funciona allí! ¡Natasha, ya escribimos soporte técnico, honestamente, honestamente! ¡Natasha, ya han dejado todo ahí! ¡Natasha, pero cuánto no! ¿Funcionará? ¡Natasha, y cuando funcione? ”). Incluso a pesar de un descanso previamente anunciado y una notificación a los clientes, se garantiza una afluencia de llamadas en ese momento.¡Espera, 1-2-3-4!
Y si no es para declarar un corte global, sino para anunciar una serie de pequeños cortes en la comunicación sobre los servicios POD y DCI. En el primer descanso, cambie solo los conmutadores POD 1 a N , en el segundo, después de un par de días, POD 2 , luego después de un par de días POD 3 , luego POD 4 ... [N] , luego conmutadores VXLAN y luego enrutadores L3VPN.Con tal organización de trabajo de conmutación, reducimos la complejidad del trabajo de una sola vez y aumentamos nuestro tiempo para resolver problemas si algo sale mal de repente. La conectividad del POD 1 después de cambiar con otro POD y DCI no se pierde. Pero el trabajo en sí mismo se retrasa por mucho tiempo, para el tiempo de este trabajo en el centro de datos, se requiere un ingeniero para realizar físicamente el cambio, y durante el trabajo (y dicho trabajo generalmente se realiza de noche, de 2 a 5 de la mañana), la presencia de un ingeniero de red en línea es bastante alta. calificaciones Pero, por otro lado, tenemos breves pausas en la comunicación, por lo general, el trabajo puede llevarse a cabo en el intervalo de media hora con un descanso de hasta 2 minutos (en la práctica, a menudo 20-30 segundos con el comportamiento esperado del equipo).En el ejemplo anterior, el cliente C1 o el cliente C2 Tendrá que advertir sobre el trabajo con una interrupción en las comunicaciones al menos tres veces: la primera vez para realizar el trabajo en un POD, en el que se encuentra uno de sus servidores, la segunda vez, en la segunda y la tercera vez, al cambiar de equipo para los servicios de DCI.Cambio de canales de comunicación agregados
¿Por qué estamos hablando del comportamiento esperado del equipo y cómo pueden cambiar los canales agregados con la minimización de las interrupciones de comunicación? Imagine la siguiente imagen:Por un lado, el enlace es los interruptores de distribución POD - D1 y D2 , forman un par MLAG (pila, VCS factory, par vPC), por otro lado, dos enlaces - Enlace 1 y Enlace 2 - están incluidos en el viejo par MLAG switch de agregación A . En el lado conmuta D formó interfaz agregada llamado Port-canal A , en el lado de la agregación de los interruptores A - interfaz agregada llama Port D-canal .Las interfaces agregadas usan LACP en su trabajo, es decir, los conmutadores en ambos lados intercambian regularmente paquetes LACPDU en ambos enlaces para asegurarse de que los enlaces:Al intercambiar paquetes en un paquete, se transmite el valor de id del sistema , que indica el dispositivo donde se incluyen estos enlaces. Para un par MLAG (pila, fábrica, etc.), el valor de id del sistema para los dispositivos que forman la interfaz agregada es el mismo. El interruptor D1 envía un valor de enlace 1 id-D del sistema , y el interruptor D2 envía un valor de enlace 2 id-D del sistema .Los conmutadores A1 y A2 analizan los paquetes LACPDU recibidos en la misma interfaz Po D y verifican que la identificación del sistema en ellos coincida. Si la identificación del sistema recibida por algún enlace difiere repentinamente del valor de trabajo actual, este enlace se elimina de la interfaz agregada hasta que se corrige la situación. Ahora cambiamos a la parte D del valor actual del sistema de LACP-id-socio - A , y los interruptores en el lado A - el valor del sistema-id actual de LACP-socio - D .Si necesita cambiar la interfaz agregada, podemos hacer dos formas diferentes:
Método 1 - SimpleA. .
N, LACP,
Po D N system-id N.
Método 2: minimizar el descanso2 Link 2.
D , .
Link 2 N2.
N Po DN,
N2 LACPDU
system-id N. ,
N2 ,
Link 2,
Up, LACPDU .
,
D2 Po A Link 2 system-id N, system-id A,
D Link 2 Po A.
N Link 2 , LACP-
D2.
Link 2 .
Link 1 A1,
D . ,
D system-id
Po A.
D N system-id
A-N Po A Po DN,
Link 2. , , 2 .
Link 1 N1,
Po A Po DN. system-id , .
Enlaces adicionales
Pero el cambio se puede hacer sin la presencia de un ingeniero en el momento del cambio. Para ello, es necesario comprobar la validez de laicos enlaces adicionales entre los D switches de distribución y los nuevos N switches de agregación .Estamos estableciendo nuevos enlaces entre los conmutadores de agregación N y todos los conmutadores de distribución POD. Esto requiere el orden y la colocación de los cables de conexión adicionales, e instalar transceptores adicionales en ambos de N , y en D . Podemos hacer esto porque tenemos puertos libres en los conmutadores D de cada POD (o los liberamos primero). Como resultado, cada POD está físicamente conectado por dos enlaces a los viejos interruptores A y a los nuevos interruptores N.Se forman dos interfaces agregadas en el conmutador D : Po A con los enlaces Enlace 1 y Enlace 2 , y Po N con los enlaces Enlace N1 y Enlace N2 . En esta etapa, verificamos la conexión correcta de las interfaces y los enlaces, los niveles de señales ópticas en ambos extremos de los enlaces (a través de la información DDM de los interruptores), incluso podemos verificar la capacidad de trabajo del enlace bajo carga o monitorear el estado de las señales ópticas y las temperaturas del transceptor durante un par de días.El tráfico todavía se transmite a través de la interfaz Po A , mientras que la interfaz Po N está libre de tráfico. La configuración de las interfaces es aproximadamente la siguiente:Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2
Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan none
Los interruptores D, como regla, admiten el cambio de configuración de sesión; se utilizan los modelos de interruptor que tienen esta funcionalidad. Entonces podemos cambiar la configuración de las interfaces Po A y Po N de una vez:Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
Commit
Luego, el cambio de configuración sucederá lo suficientemente rápido, y la interrupción será, en la práctica, no más de 5 segundos.Este método nos permite realizar todo el trabajo preparatorio por adelantado, realizar todas las verificaciones necesarias, coordinar el trabajo con los participantes en el proceso, pronosticar en detalle las acciones para la producción del trabajo, sin trabajo creativo, cuando "todo salió mal", y tener a la mano un plan para volver a la configuración anterior. El trabajo en este plan lo lleva a cabo un ingeniero de red sin la presencia de un centro de datos en el sitio del ingeniero que físicamente realiza la conmutación.Lo que es más importante con este método de conmutación: todos los enlaces nuevos ya están preconfigurados para el monitoreo. Errores, inclusión de enlaces en la unidad, carga de enlaces: toda la información necesaria ya está en el sistema de monitoreo y ya está dibujada en los mapas.Día D
Vaina
Elegimos el menos doloroso para los clientes y el menos propenso a la ruta de cambio "algo salió mal" con enlaces adicionales. Así que durante un par de noches cambiamos todos los POD a los nuevos conmutadores de agregación.Pero queda por cambiar el equipo que proporciona servicios de DCI.L2
En el caso de equipos que proporcionan conectividad L2, no podríamos llevar a cabo un trabajo similar con enlaces adicionales. Hay al menos dos razones para esto:- Falta de puertos libres de la velocidad requerida en los conmutadores VXLAN.
- Falta de funcionalidad para cambios de configuración de sesión en conmutadores VXLAN.
No cambiamos los enlaces "uno a la vez" con un descanso solo durante la aprobación de un nuevo par de identificación del sistema, ya que no teníamos una confianza del 100% de que el procedimiento funcionaría correctamente, y una prueba en el laboratorio mostró que, en caso si "algo sale mal", todavía tenemos una interrupción en la comunicación, y lo peor no es solo para los clientes que tienen conectividad L2 con otros centros de datos, sino en general para todos los clientes de este centro de datos.Realizamos trabajos de propaganda para cambiar de canales L2 con anticipación, por lo que el número de clientes afectados por las operaciones en los conmutadores VXLAN ya era varias veces menor que hace un año. Como resultado, decidimos interrumpir la comunicación en el servicio de conectividad L2, siempre que mantengamos el funcionamiento normal de los servicios de red locales en un centro de datos. Además, el SLA para este servicio ofrece la posibilidad de trabajo programado con un descanso.L3
¿Por qué recomendamos a todos que cambien a usar L3VPN al organizar los servicios DCI? Una de las razones es la capacidad de trabajar en uno de los enrutadores que proporcionan este servicio, simplemente con una reducción en el nivel de redundancia a N + 0, sin interrupción en la comunicación.Considere el esquema de prestación de servicios más de cerca. En este servicio, el segmento L2 va de los servidores cliente solo a los enrutadores Selectel L3VPN. En los enrutadores, la red del cliente finaliza.Cada servidor cliente, por ejemplo, S2 y S3 en el diagrama anterior, tiene sus propias direcciones IP privadas: 10.0.0.2/24 para el servidor S2 y 10.0.0.3/24 para el servidor S3 . Direcciones 10.0.0.252/24 y 10.0.0.253/24asignado por Selectel a los enrutadores L3VPN-1 y L3VPN-2 , respectivamente. La dirección IP 10.0.0.254/24 es una dirección VIP VRRP en los enrutadores Selectel.Puede leer más sobre el servicio L3VPN en nuestro blog.
Hasta el momento de cambiar todo parecía aproximadamente como en el diagrama:Dos routers L3VPN-1 y L3VPN-2 estaban conectados a la vieja agregación conmutador A . El maestro para las direcciones VIP VRRP 10.0.0.254 es el enrutador L3VPN-1 . Tiene la prioridad establecida en esta dirección más alta que la del enrutador L3VPN-2 .unit 1006 {
description C2;
vlan-id 1006;
family inet {
address 10.0.0.252/24 {
vrrp-group 1 {
priority 200;
virtual-address 10.100.0.254;
preempt {
hold-time 120;
}
accept-data;
}
}
}
}
El servidor S2 usa la puerta de enlace 10.0.0.254 para comunicarse con servidores en otras ubicaciones. Por lo tanto, desconectar el enrutador L3VPN-2 de la red (por supuesto, si primero lo desconecta del dominio MPLS) no afecta la conectividad de los servidores del cliente. En este punto, el nivel de redundancia del circuito simplemente disminuye.Después de eso, podemos volver a conectar de forma segura el enrutador L3VPN-2 al par de N interruptores . Diseñe enlaces, cambie transceptores. Las interfaces lógicas del enrutador, de las cuales depende el trabajo de los servicios del cliente, hasta que se confirme que todo funciona como debería, se desactivan.Después de verificar los enlaces, transceptores, niveles de señal, niveles de error en las interfaces, el enrutador entra en funcionamiento, pero ya está conectado a un nuevo par de conmutadores.A continuación, bajamos la prioridad VRRP del enrutador L3VPN-1, y la dirección VIP 10.0.0.254 se mueve al enrutador L3VPN-2. Estos trabajos también se llevan a cabo sin interrupción de la comunicación.Transferencia dirección VIP al router 10.0.0.254 L3VPN-2 le permite desactivar el router L3VPN-1 sin interrupción de contacto para el cliente y conectarlo a tener un nuevo par de agregación de los interruptores de N .Si devolver o no VRRP VIP al enrutador L3VPN-1 es otro asunto, y si regresa, se hace sin interrupción.Total
Después de todos estos pasos, realmente reemplazamos los conmutadores de agregación en uno de nuestros centros de datos, al tiempo que minimizamos los descansos para nuestros clientes.Todo lo que queda es desmantelar. Desmontaje de conmutadores antiguos, desmontaje de enlaces antiguos entre los conmutadores A y D, desmontaje de transceptores de estos enlaces, fijación de monitorización, fijación de diagramas de red en documentación y monitorización.Podemos usar interruptores, transceptores, cables de conexión, AOC, DAC después de la conmutación, en otros proyectos u otras conmutaciones similares."Natasha, cambiamos todo!"