Get best of the week

Y demuestre, o cómo pasamos la auditoría de sostenibilidad operativa en Uptime Institute


El jefe del departamento de operaciones subió a la escotilla del almacenamiento subterráneo de combustible para mostrar las marcas en la válvula solenoide.

A principios de febrero, nuestro centro de datos NORD-4 Tier III más grande fue re-certificado por el Uptime Institute (UI) bajo el estándar de Sostenibilidad Operacional. Hoy le diremos qué están mirando los auditores y con qué resultados hemos terminado.

Para aquellos con centros de datos en "usted", revisaremos brevemente el material. Los estándares de nivel evalúan y certifican los centros de datos en tres etapas:

  • proyecto (diseño): se verifica el paquete de documentación del proyecto. Simplemente se asigna a todos los niveles conocidos . Hay 4 de ellos: Nivel I - IV. Este último, respectivamente, es el más alto.
  • (Facility): - . - : (, , , , ..) , . Tier III - -.

    Facility , - Dsign.
    NORD-4 Design 2015 , Facility —  2016.
  • (Operational Sustainability). , . - Tier ( Operational Sustainability, Facility). - Tier IV .

    : Bronze, Silver Gold. 88,95 100 , Silver. Gold — 1,05 . 



¿Cómo verificar que los procesos necesarios estén organizados y funcionando como deberían? Además, cómo hacer esto en dos días: esto es lo que lleva la recertificación. En resumen, la certificación se basa en una comparación minuciosa de lo que está escrito en las regulaciones, las historias "cómo funciona todo" y las prácticas reales. La información sobre este último se obtiene de las rondas del centro de datos y las conversaciones con los ingenieros del centro de datos - "confrontaciones", como las llamamos cariñosamente. Eso es lo que miran.

Equipo


En primer lugar, los auditores de IU verifican si hay suficiente personal en el centro de datos. Toman el horario de dotación de personal, el horario de servicio y verifican selectivamente con informes de turnos y datos de ACS para asegurarse de que el número correcto de ingenieros estuvo realmente en el sitio ese día.

Los auditores también observan detenidamente la cantidad de horas de procesamiento. Esto a veces ocurre cuando un gran cliente llama y al mismo tiempo se necesitan entregar docenas de racks. En esos momentos, los muchachos de otros turnos vienen al rescate, y se les paga dinero extra por esto.

NORD-4 7 : 6 . , 247, , . . . — . 247.


NORD , .

Cuando se ordenan los números, se verifican las calificaciones del equipo. Los auditores revisan aleatoriamente los archivos personales de los ingenieros para asegurarse de que tengan los diplomas, certificados y permisos necesarios (por ejemplo, certificados de seguridad eléctrica) para trabajar en este puesto.

También verifican cómo capacitamos al personal. Durante la última auditoría, nuestro sistema para capacitar a nuevos ingenieros de servicio impresionó a los especialistas en UI. Para ellos, llevamos a cabo un curso de capacitación de tres meses en una pasantía remunerada, durante el cual les presentamos los procesos y principios de trabajo en nuestro centro de datos.

Los ingenieros que ya trabajan también deben recibir capacitación regular, incluido el trabajo de emergencia. Los auditores ciertamente verificarán los programas de capacitación y los materiales de tales capacitaciones, y también examinarán selectivamente a los ingenieros. No le pedirán a nadie que cambie a DGU, pero le pedirán que le diga paso a paso qué hacer cuando se apaga la fuente de alimentación de la ciudad. Con base en los resultados de la auditoría, llevaremos todos los programas de capacitación a un estándar único para que no difieran entre los diferentes equipos.


Le mostramos a los auditores una sala de relajación para los ingenieros de turno.

Operación y mantenimiento de sistemas de ingeniería. 


En esta gran sección de la auditoría, mostramos que todos los equipos y sistemas de ingeniería reciben un mantenimiento regular de acuerdo con el cronograma recomendado por los proveedores, el almacén tiene las piezas de repuesto necesarias, los contratos existentes con los contratistas de servicio y para cada operación con el equipo sus propios procedimientos y algoritmos de trabajo para diferentes casos.

MMS Cuando opera docenas de UPS, generadores diesel, aires acondicionados y otras cosas, necesita un lugar para recopilar toda la información sobre esta economía. Aquí hay aproximadamente un dossier creado para cada pieza de equipo con nosotros:

  • modelo y número de serie;
  • calificación;
  • especificaciones técnicas y configuraciones;
  • lugar de instalación;
  • fechas de producción, puesta en marcha, fin de garantía;
  • contratos de servicio;
  • horario e historial de mantenimiento;
  • y todo el "historial médico": averías, reparaciones.

Cómo y dónde recopilar toda esta información, cada operador del centro de datos decide por sí mismo. La interfaz de usuario no se limita en las herramientas. Puede ser un Excel simple (comenzamos con esto) o un Sistema de Gestión de Mantenimiento (MMS) auto-escrito, como lo hemos hecho ahora. Por cierto, la mesa de servicio , el control de inventario, el diario en línea, el monitoreo también se escriben por sí mismos.


Aquí hay un "asunto personal" para cada equipo.

Mostramos nuestras prácticas en esta área, incluso con el ejemplo de este UPS de infraestructura (en la foto), que donó uno de sus componentes de UPS a la carga de TI. Sí, de acuerdo con el estándar, solo los equipos de infraestructura que suministran aire acondicionado, iluminación de emergencia, pero no la carga de TI, pueden manejar dicha "donación".



Después de eso, los auditores pidieron mostrar el ticket correspondiente en la mesa de servicio:



y el perfil de UPS en MMS:



piezas de repuesto. Para el mantenimiento oportuno y las reparaciones de emergencia de los equipos de ingeniería, conservamos nuestros repuestos. Hay un almacén común con piezas de repuesto grandes para equipos y gabinetes pequeños con piezas de repuesto en las salas de ingeniería (para que no tenga que ir muy lejos).

En la foto: verificamos la disponibilidad de repuestos para motores diesel. Contamos 12 filtros. Luego verificaron los datos en MMS.  



Se realizó un ejercicio similar en el almacén principal, donde se almacenan piezas de repuesto grandes: compresores, controladores, automatización, ventiladores, humidificadores de vapor y cientos de puestos más. Reescribió selectivamente las marcas y las "golpeó" a través de MMS.




Datos sobre existencias de repuestos. El rojo es lo que falta y debe comprarse.

Mantenimiento preventivo. Además del mantenimiento y las reparaciones, UI recomienda realizar un mantenimiento preventivo. Ayuda a convertir un posible accidente en una reparación programada. Para cada parámetro, configuramos valores umbral en el monitoreo. Si se superan, los responsables reciben alarmas y toman las medidas necesarias. Por ejemplo, nosotros:

  • Verificamos los paneles eléctricos con una cámara termográfica para encontrar un defecto en las instalaciones eléctricas a tiempo: mal contacto, sobrecalentamiento local del conductor o la máquina. 
  • Monitoreamos la vibración y el consumo de corriente de las bombas del sistema de refrigeración. Esto le permite identificar oportunamente las desviaciones y planificar rápidamente la sustitución de piezas.
  • Hacemos análisis de combustible y aceite de grupos electrógenos diesel, compresores.
  • Prueba de glicol en un sistema de suministro de frío para la concentración.


Diagrama de vibración de la bomba antes y después de la reparación.

Trabajar con contratistas. El mantenimiento y la reparación del equipo son realizados por contratistas externos. Por nuestra parte, hay especialistas individuales en grupos electrógenos diesel, aires acondicionados y UPS que monitorean su trabajo. Verifican si los contratistas tienen las herramientas y materiales necesarios para trabajos de reparación / mantenimiento, certificados profesionales, costras de seguridad eléctrica, tolerancias. Aceptan todo el trabajo.


Así es como se ve una lista de verificación para la aceptación del trabajo de mantenimiento de un aire acondicionado.


En la oficina de pases verificamos si los pases se emiten a representantes autorizados de los contratistas, si pasaron el mantenimiento en el momento indicado y si se familiarizaron con las reglas.

Documentación.Los procesos bien establecidos para el mantenimiento de sistemas y equipos son la mitad de la batalla. Todos los procedimientos que realiza una persona en un centro de datos deben documentarse. El propósito de esto es simple: para que no todo se aísle en una persona en particular y en caso de accidente, cualquier ingeniero podría tomar instrucciones claras y hacer todas las operaciones necesarias para eliminarlo.

La interfaz de usuario tiene su propia metodología para dicha documentación.

Para acciones simples y repetitivas, se compila el Procedimiento Operativo Estándar (SOP). Por ejemplo, hay SOP para encender / apagar la enfriadora y configurar el UPS en bypass.

Para mantenimiento u operaciones complejas, como el reemplazo de las baterías en el UPS, se crean los Métodos de procedimientos (MOP). Estos pueden incluir POE. Cada tipo de equipo de ingeniería debe tener sus propios MOP.

Finalmente, hay procedimientos operativos de emergencia (EOP): instrucciones de emergencia. Se compila una lista de emergencias específicas y se escriben instrucciones para ellas. Aquí hay una parte de la lista de emergencias, que detalla signos del accidente, acciones, personas responsables y personas para notificación:

  • apagado de la fuente de alimentación de la ciudad: DGU comenzó / no comenzó;
  • Accidente de UPS; 
  • accidentes en el sistema de monitoreo del centro de datos;
  • sobrecalentamiento de la sala de máquinas;
  • fuga del sistema de refrigeración;
  • accidente en redes y equipos informáticos;

Y así.

Para componer tal volumen de documentación es un trabajo laborioso en sí mismo. Es aún más difícil mantenerlo actualizado (esto, por cierto, los auditores también lo verifican). Y lo más importante: el personal debe conocer estas instrucciones, trabajar en ellas y hacer mejoras si es necesario.


Sí, las instrucciones deben estar disponibles donde puedan ser necesarias, y no solo acumular polvo en los archivos.


Marcas sobre cambios en la regulación del mantenimiento de sistemas de ingeniería del centro de datos.

Durante la auditoría, también examinan la documentación técnica de los sistemas, la documentación ejecutiva y de trabajo, los actos de poner en funcionamiento los sistemas. 

Calificación.Durante un recorrido por el centro de datos, lo revisaron donde pudieron llegar. Donde no se pudo alcanzar: alcanzado desde una escalera de mano :). Observamos su presencia en cada escudo, máquina, válvula. Verificaron la unicidad, la falta de ambigüedad y el cumplimiento de los esquemas actuales de documentación ejecutiva. En la foto a continuación: en la bomba de almacenamiento de combustible comparamos la marca en las válvulas solenoides con el esquema de la documentación ejecutiva. 



Todo estaba de acuerdo con ella, pero con el diagrama axonométrico "decorativo" local en la pared en un parámetro no coincidía.



En las instalaciones del centro de datos, los esquemas de los sistemas ubicados allí también deberían colgarse. En caso de accidente, ayudan a averiguar rápidamente dónde está ubicado y tomar una decisión informada. En la foto, por ejemplo, un diagrama unifilar en la sala de centralita principal.



La relevancia de los esquemas se verificó de la siguiente manera: llamaron al etiquetado del elemento en el esquema y pidieron que se mostrara "en especie". 



Aquí el auditor toma fotografías de la configuración (configuración) de la liberación de la centralita principal de la centralita, y luego verifica con los indicadores en un diagrama unifilar en papel y copias electrónicas. En una de las máquinas, QF-3, el indicador no coincidía con el esquema en papel, y obtuvimos un punto de penalización. Ahora dos ingenieros comprobarán el cumplimiento de las marcas en diagramas de una sola línea con el hecho.



Esto no es todo lo que los auditores verificaron con respecto a los procesos de servicio. Esto es lo que había en la agenda:


UI


Seguridad y control de acceso. La auditoría también verifica el funcionamiento de los sistemas de seguridad y protección. Por ejemplo, el auditor intentó ingresar a una de las habitaciones donde no tiene acceso, y luego verificó si esto se reflejó en el sistema ACS y si la seguridad tenía una notificación al respecto (había un spoiler).

Si en nuestros centros de datos la puerta de cualquier habitación permanece abierta durante más de dos minutos, se activa una advertencia en el puesto de seguridad. Para verificar esto, los auditores apoyaron una de las puertas con un extintor de incendios. Es cierto, no esperamos las sirenas: los guardias de seguridad vieron que algo andaba mal a través de las cámaras de video y llegaron antes a la "escena del crimen".

Orden y limpieza.Los auditores buscan polvo, cajas de equipos que se encuentran al azar, con qué frecuencia se limpian las habitaciones. Aquí, por ejemplo, los auditores estaban interesados ​​en un objeto no identificado en el corredor de ventilación. Esto está a una cuadra del sistema de ventilación, que ya se estaba preparando para ocupar su lugar. Pero aún se le pide que firme.



Aún en el tema de orden en el centro de datos: estos son los gabinetes con todas las herramientas necesarias para el trabajo de emergencia en el equipo ubicado en el tablero principal. 



La locación.El centro de datos se evalúa de acuerdo con las condiciones de ubicación: ¿hay bases militares, aeropuertos, ríos, volcanes y otros objetos peligrosos cerca? En la foto, solo mostramos que desde la última certificación en 2017, ninguna planta de energía nuclear e instalaciones de almacenamiento de petróleo han crecido alrededor del centro de datos. Pero allí, se está construyendo un nuevo centro de datos NORD-5, que también tiene que pasar por todos los niveles de certificación del Uptime Institute Tier III. Pero esta es una historia completamente diferente).

More articles:


All Articles