Por qué OceanStor Dorado V6 es el almacenamiento más rápido y confiable

¡No se apresure a sacar conclusiones por el encabezado! Tenemos argumentos contundentes que lo respaldan, y los empaquetamos de la manera más compacta posible. Le presentamos una publicación sobre el concepto y los principios de funcionamiento de nuestro nuevo sistema de almacenamiento de datos, que se lanzó en enero de 2020.




En nuestra opinión, la principal ventaja competitiva de la familia de almacenamiento Dorado V6 es el rendimiento y la confiabilidad mencionados en el encabezado. Sí, es muy simple, pero debido a algunas decisiones difíciles y no muy difíciles que logramos lograr esto "justo", hablaremos hoy.

Con el fin de revelar mejor el potencial de los sistemas de nueva generación, hablaremos sobre los representantes senior de la gama de modelos (modelos 8000, 18000). A menos que se indique lo contrario, están implícitos.



Unas palabras sobre el mercado


Para comprender mejor el lugar de las soluciones de Huawei en el mercado, recurrimos a la medida comprobada: los " cuadrantes mágicos " de Gartner. Hace dos años, en el sector de la matriz de discos de uso general, nuestra compañía ingresó con confianza al grupo de líderes, solo superada por NetApp y Hewlett Packard Enterprise. En 2018, la posición de Huawei en el mercado de almacenamiento de estado sólido se caracterizó por el estado de "solicitante", pero faltaba algo para lograr posiciones de liderazgo.

En 2019, Gartner, en su investigación, combinó los dos sectores anteriores en uno: "Almacenamiento principal". Como resultado, Huawei nuevamente se encontró en el cuadrante de líderes, junto a proveedores como IBM, Hitachi Vantara e Infinidat.

Para completar la imagen, observamos que Gartner recopila el 80% de los datos para su análisis en el mercado de los EE. UU., Y esto lleva a un sesgo notable a favor de aquellas empresas que están bien representadas en los EE. UU. Mientras tanto, los proveedores que se dirigen a los mercados europeos y asiáticos se encuentran en una posición notablemente menos ventajosa. E incluso a pesar de esto, el año pasado, los productos de Huawei ocuparon el lugar que les corresponde en el cuadrante superior derecho y, según el veredicto de Gartner, "se puede recomendar su uso".



Lo nuevo en Dorado V6


La línea de productos Dorado V6, en particular, está representada por los sistemas de nivel de entrada de la serie 3000. Originalmente equipados con dos controladores, se pueden expandir horizontalmente a 16 controladores, 1200 discos y 192 GB de caché. Además, el sistema estará equipado con puertos externos Fibre Channel (8/16/32 Gb / s) y Ethernet (1/10/25/40/100 Gb / s).

Tenga en cuenta que el uso de protocolos que no tienen éxito comercial se está eliminando gradualmente, por lo que al principio decidimos abandonar el soporte de Fibre Channel sobre Ethernet (FCoE) e Infiniband (IB). Se agregarán en versiones de firmware posteriores. El soporte para NVMe sobre Fabric (NVMe-oF) está disponible de fábrica en la parte superior de Fibre Channel. El próximo firmware, cuyo lanzamiento está programado para junio, está programado para admitir el modo NVMe a través de Ethernet. En nuestra opinión, el conjunto anterior cubrirá con creces las necesidades de la mayoría de los clientes de Huawei.

No hay acceso a archivos en la versión actual del firmware y aparecerá en una de las siguientes actualizaciones más cerca de fin de año. La implementación se espera a nivel nativo, por los propios controladores con puertos Ethernet, sin el uso de equipos adicionales.

La principal diferencia entre la serie Dorado V6 3000 y los modelos anteriores es que en el backend admite un protocolo: SAS 3.0. En consecuencia, las unidades allí solo se pueden usar con la interfaz con nombre. Desde nuestro punto de vista, el rendimiento proporcionado es suficiente para un dispositivo de este tipo.

Los sistemas Dorado V6 series 5000 y 6000 son soluciones de gama media. También están hechos en el factor de forma 2U y están equipados con dos controladores. Se diferencian entre sí en rendimiento, número de procesadores, número máximo de discos y tamaño de caché. Sin embargo, en términos arquitectónicos y de ingeniería, Dorado V6 5000 y 6000 son idénticos y tienen el mismo aspecto.

La clase de gama alta incluye los sistemas Dorado V6 de las series 8000 y 18000. Diseñados en tamaños de bastidor 4U, por defecto tienen una arquitectura separada en la que los controladores y las unidades están separados. En la configuración mínima, también se pueden equipar con solo dos controladores, aunque a los clientes, por regla general, se les pide que instalen cuatro o más.

Dorado V6 8000 se escala horizontalmente a 16 controladores y Dorado V6 18000 a 32. Estos sistemas tienen procesadores diferentes con diferentes números de núcleos y tamaños de caché. Por todo eso, se preserva la identidad de las soluciones de ingeniería, como en los modelos de gama media.

Los estantes 2U con unidades están conectados a través de RDMA con un ancho de banda de 100 Gb / s. El antiguo backend Dorado V6 también es compatible con SAS 3.0, pero más bien en el caso de SSD con una caída de precio en la interfaz. Entonces habrá viabilidad económica de su uso, incluso teniendo en cuenta una menor productividad. Por el momento, la diferencia de costo entre los SSD con interfaces SAS y NVMe es tan pequeña que no estamos listos para recomendar una solución de este tipo.



Dentro del controlador


Los controladores Dorado V6 están hechos en nuestra propia base de elementos. Sin procesadores Intel, sin ASIC Broadcom. Por lo tanto, cada uno de los componentes de la placa base, así como a sí mismo, se elimina por completo de la influencia de los riesgos asociados con la presión de sanción de las empresas estadounidenses. Aquellos que vieron con nuestros propios ojos cualquiera de nuestros equipos deben haber notado escudos con una franja roja debajo del logotipo. Significa que el producto carece de componentes estadounidenses. Este es el curso oficial de Huawei: la transición a componentes de su propia producción o, en cualquier caso, fabricados en países que no siguen la política de los EE. UU.

Esto es lo que puedes ver en la placa del controlador.

  • Interfaz de red universal (chip Hisilicon 1822), responsable de la conexión a Fibre Channel o Ethernet.
  • BMC-, Hisilicon 1710, . .
  • , ARM Kunpeng 920 Huawei. , , . . . , Dorado V6 .
  • SSD ( Hisilicon 1812e), SAS-, NVMe-. , Huawei SSD, NAND, . , Huawei , .
  • — Ascend 310. , , . , . , .



Kunpeng


El procesador Kunpeng es un sistema en un chip (SoC), donde además de la unidad de cómputo hay módulos de hardware que aceleran diversos procesos, como el cálculo de sumas de verificación o la ejecución de "codificación de borrado". También implementa soporte de hardware para SAS, Ethernet, DDR4 (de seis a ocho canales), etc. Todo esto le permite a Huawei crear controladores de almacenamiento que no son inferiores en rendimiento a las soluciones clásicas de Intel.

Además, sus propias soluciones basadas en la arquitectura ARM le dan a Huawei la oportunidad de crear soluciones de servidor completas y ofrecerlas a sus clientes como una alternativa a x86.



La nueva arquitectura de Dorado V6 ...


La arquitectura interna del antiguo sistema de almacenamiento Dorado V6 está representada por cuatro subdominios principales (fábricas).

La primera fábrica es una interfaz común (interfaces de red responsables de comunicarse con una fábrica SAN o hosts).

El segundo es un conjunto de controladores, cada uno de los cuales puede llegar a la tarjeta de red frontend, así como al motor vecino, que es una caja con cuatro controladores, así como unidades de alimentación y refrigeración comunes a ellos, utilizando el protocolo RDMA. Ahora, los modelos Dorado V6 de alta gama pueden equiparse con dos de estos "motores" (respectivamente, ocho controladores).

La tercera fábrica es responsable del backend y consta de tarjetas de red RDMA 100G.

Finalmente, la cuarta fábrica "en hierro" está representada por estantes inteligentes enchufables con unidades.

Dicha estructura simétrica libera todo el potencial de la tecnología NVMe y garantiza un alto rendimiento y fiabilidad. El proceso de E / S está paralelizado al máximo entre procesadores y núcleos, proporcionando lectura y escritura simultáneas en múltiples hilos.



... y lo que nos dio


El rendimiento máximo de las soluciones Dorado V6 es aproximadamente tres veces mayor que el rendimiento de los sistemas de la generación anterior (de la misma clase) y puede alcanzar los 20 millones de IOPS.

Esto se debe al hecho de que en la generación anterior de dispositivos, el soporte NVMe se extendía solo a los estantes con unidades. Ahora está presente en todas las etapas, desde el host hasta el SSD. La red de fondo también ha sufrido cambios: SAS / PCIe dio paso a RoCEv2 con un ancho de banda de 100 Gb / s.

El factor de forma SSD también ha cambiado. Si anteriormente había 25 unidades en el estante de 2U, ahora se ha llevado hasta 36 discos físicos del tamaño de la palma. Además, los estantes "más sabios". Cada uno de ellos ahora tiene un sistema tolerante a fallas de dos controladores basados ​​en chips ARM, similares a los instalados en los controladores centrales.



Hasta ahora, solo se dedican a la reorganización de datos, pero con el lanzamiento del nuevo firmware, se agregará codificación de compresión y borrado, lo que reducirá la carga en los controladores principales del 15 al 5%. Transferir parte de las tareas al estante al mismo tiempo libera el ancho de banda de la red interna. Y todo esto aumenta significativamente el potencial de escalabilidad del sistema.

La compresión y la deduplicación en los sistemas de almacenamiento de la generación anterior se realizaron con bloques de longitud fija. Ahora, se ha agregado un modo de trabajar con bloques de longitud variable, que hasta ahora debe habilitarse por la fuerza. El firmware posterior puede cambiar este hecho.

También brevemente sobre tolerancia a fallas. Dorado V3 permaneció operativo si uno de los dos fallaba. Dorado V6 asegurará la disponibilidad de datos incluso si siete de ocho controladores o cuatro de un "motor" fallan consecutivamente.



Fiabilidad Económica


Recientemente, entre los clientes de Huawei, se realizó una encuesta sobre qué tipo de elementos simples de infraestructura de TI la compañía considera aceptable. En su mayor parte, los encuestados fueron tolerantes con una situación hipotética en la que la aplicación no responde durante varios cientos de segundos. Para el sistema operativo o el adaptador de bus host, el tiempo de inactividad crítico fue de decenas de segundos (de hecho, el tiempo de reinicio). Los clientes demandan aún más en la red: su ancho de banda no debe desaparecer por más de 10-20 segundos. Como puede suponer, los encuestados consideraron las fallas de almacenamiento como las más críticas. Desde el punto de vista de los representantes comerciales, un sistema de almacenamiento simple no debe exceder ... ¡unos pocos segundos por año!

En otras palabras, si la solicitud del cliente del banco no responde durante 100 segundos, lo más probable es que esto no cause consecuencias catastróficas. Pero si el mismo número de sistemas de almacenamiento no funciona, es probable que se produzca un paro comercial y pérdidas financieras significativas.



El cuadro anterior muestra el costo de una hora de trabajo para los diez bancos más grandes (datos de Forbes para 2017). De acuerdo, si su empresa se acerca al tamaño de los bancos chinos, justificar la necesidad de comprar almacenamiento por varios millones de dólares no será tan difícil. Lo contrario también es cierto: si una empresa no sufre pérdidas significativas durante un tiempo de inactividad, es poco probable que compre sistemas de almacenamiento de alta gama. En cualquier caso, es importante tener una idea de qué tamaño amenaza con formarse un agujero en su billetera, mientras el administrador del sistema se ocupa de un sistema de almacenamiento de datos que se ha negado a funcionar.




Failover Second


En la Solución A en la ilustración anterior, puede reconocer nuestra generación anterior del sistema Dorado V3. Cuatro de sus controladores funcionan en pares, y solo dos controladores contienen copias de la memoria caché. Los controladores dentro de un par pueden redistribuir la carga. Al mismo tiempo, como puede ver, no hay "fábricas" de frontend y backend, por lo que cada uno de los estantes con unidades está conectado a un par de controladores específico.

El diagrama de la Solución B muestra la solución actualmente disponible en el mercado de otro proveedor (¿lo descubrió?). Ya hay fábricas front-end y back-end, y las unidades están conectadas directamente a cuatro controladores. Es cierto que en el trabajo de los algoritmos del sistema interno hay matices que no son obvios en una primera aproximación.

A la derecha está nuestra arquitectura de almacenamiento Dorado V6 actual con todos sus elementos internos. Considere cómo estos sistemas sobreviven a una situación típica: la falla de un controlador.

En los sistemas clásicos, que incluyen Dorado V3, el período requerido para redistribuir la carga en caso de falla alcanza los cuatro segundos. En este momento, la E / S se detiene por completo. En la Solución B, de nuestros colegas, a pesar de una arquitectura más moderna, el tiempo de inactividad durante una falla es aún mayor: seis segundos.

El almacenamiento Dorado V6 restaura su funcionamiento solo un segundo después de una falla. Este resultado se logra debido al entorno RDMA interno homogéneo, que permite que el controlador acceda a la memoria "extraña". La segunda circunstancia importante es la presencia de una fábrica front-end, debido a la cual el camino para el host no cambia. El puerto sigue siendo el mismo, y la carga simplemente se envía a los controladores reparables mediante controladores multipassing.

La falla del segundo controlador en Dorado V6 se resuelve en un segundo de acuerdo con el mismo esquema. Dorado V3 tarda unos seis segundos, mientras que la solución de otro proveedor tarda nueve. Para muchos DBMS, dichos intervalos ya no pueden considerarse aceptables, ya que durante este tiempo el sistema pasa al modo de espera y deja de funcionar. Esto es lo primero que concierne a un DBMS, que consta de muchas secciones.

La falla de la tercera solución Un controlador no puede sobrevivir. Solo por el hecho de que se pierde el acceso a parte de los discos de datos. A su vez, la Solución B en tal situación restaura la operabilidad, que requiere, como en el caso anterior, nueve segundos.

¿Qué tiene Dorado V6? Un segundo.



¿Qué se puede hacer en un segundo?


Casi nada, pero no necesitamos esto. Una vez más, en la clase de gama alta Dorado V6, la fábrica de front-end se desata de la fábrica de controladores. Esto significa que no hay puertos codificados que pertenezcan a un controlador específico. La reconstrucción de conmutación por error no implica encontrar rutas alternativas o reinicializar multipassing. El sistema continúa funcionando como funcionaba.



Resistencia a múltiples fallas


Los modelos más antiguos de Dorado V6 sin problemas sobreviven a la falla simultánea de dos (!) Controladores de cualquier "motor". Esto es posible porque la solución ahora almacena tres copias de la memoria caché. Por lo tanto, incluso con una falla doble, siempre habrá una copia completa.

La falla simultánea de los cuatro controladores en uno de los "motores" tampoco causará consecuencias fatales, ya que las tres copias de la caché en cada momento se distribuyen entre los "motores". La observancia de esta lógica de trabajo es monitoreada por el propio sistema.

Finalmente, un escenario muy improbable es la falla secuencial de siete de los ocho controladores. Además, el intervalo mínimo aceptable para mantener la operatividad entre fallas individuales es de 15 minutos. Durante este tiempo, el sistema de almacenamiento logra realizar las operaciones necesarias para la migración de la memoria caché.

El último controlador superviviente proporcionará la operación del almacén de datos y mantendrá la memoria caché durante cinco días (el valor predeterminado, que es fácil de cambiar en la configuración). Después de eso, el caché se deshabilitará, pero el almacenamiento continuará.



Actualizaciones no molestas


El nuevo sistema operativo Dorado V6 le permite actualizar el almacenamiento del sistema de almacenamiento sin reiniciar los controladores.

El sistema operativo, como en el caso de soluciones anteriores, se basa en Linux, sin embargo, muchos procesos operativos se transfieren desde el núcleo al modo de usuario. La mayoría de las funciones, como las responsables de la deduplicación y la compresión, ahora son demonios regulares que se ejecutan en segundo plano. Debido a esto, para actualizar módulos individuales no hay necesidad de cambiar todo el sistema operativo. Supongamos que para agregar soporte para un nuevo protocolo, solo necesita apagar el módulo de software correspondiente e iniciar uno nuevo.

Está claro que los problemas de actualización de todo el sistema aún persisten, después de todo, puede haber elementos en el núcleo que necesitan ser actualizados. Pero tal, según nuestras observaciones, menos del 6% del total. Esto le permite reiniciar los controladores docenas de veces menos que antes.



Soluciones catastróficas y HA (HA / DR)


Dorado V6 "listo para usar" está listo para integrarse en soluciones geodistribuidas, clústeres de nivel urbano (metro) y centros de datos "triples".

A la izquierda en la ilustración de arriba hay un grupo de metro que ya es familiar para muchos. Dos sistemas de almacenamiento funcionan en modo activo / activo a una distancia de hasta 100 km entre sí. Una infraestructura similar con uno o más servidores de quórum puede ser soportada por soluciones de diferentes compañías, incluido nuestro sistema operativo en la nube FusionSphere. De particular importancia en tales proyectos son las características del canal entre los sitios, todas las demás tareas en nuestro caso son asumidas por la función HyperMetro, que está disponible, de nuevo, fuera de la caja. La integración de Fibre Channel así como la integración de iSCSI en redes IP es posible si surge tal necesidad. Ya no hay necesidad de una óptica dedicada "oscura", ya que el sistema puede comunicarse a través de los canales existentes.

Al construir tales sistemas, el único requisito de hardware para el almacenamiento es la asignación de puertos para la replicación. Es suficiente adquirir una licencia, ejecutar servidores de quórum, físicos o virtuales, y proporcionar conectividad IP a los controladores (10 Mbps, 50 ms).

Esta arquitectura es fácil de transferir a un sistema con tres centros de datos (vea el lado derecho de la ilustración). Por ejemplo, cuando dos centros de datos operan en el modo de clúster metropolitano, y el tercer sitio, ubicado a una distancia de más de 100 km, usa replicación asincrónica.

El sistema soporta tecnológicamente varios escenarios comerciales que se implementarán en caso de un exceso a gran escala.



Metro Cluster Survival with Multiple Failsures


Lo anterior y lo siguiente también muestran el clúster clásico de metro, que consta de dos sistemas de almacenamiento y un servidor de quórum. Como puede ver, en seis de los nueve escenarios posibles de fallas múltiples, nuestra infraestructura permanecerá operativa.

Por ejemplo, en el segundo escenario, si el servidor de quórum falla y se produce la sincronización entre sitios, el sistema sigue siendo productivo, ya que el segundo sitio deja de funcionar. Un comportamiento similar ya está incrustado en los algoritmos integrados.

Incluso después de tres fallas, se puede mantener el acceso a la información si el intervalo entre ellas es de al menos 15 segundos.



Carta de triunfo habitual de la manga


Recuerde que Huawei produce no solo sistemas de almacenamiento, sino también una gama completa de equipos de red. Independientemente del proveedor de almacenamiento que elija, si se utiliza una red WDM entre los sitios, en el 90% de los casos se basará en las soluciones de nuestra empresa. Surge una pregunta lógica: ¿por qué armar un zoológico de sistemas cuando todo el hardware garantizado compatible entre sí se puede obtener de un proveedor?



A la cuestión del rendimiento


Probablemente, nadie necesita estar convencido de que la transición al almacenamiento All-Flash puede reducir significativamente los costos de mantenimiento de la infraestructura, ya que todas las operaciones de rutina se realizan muchas veces más rápido. Esto es evidenciado por todos los proveedores de dichos equipos. Mientras tanto, muchos proveedores comienzan a disimular cuando se trata de una disminución en el rendimiento cuando activa varios modos de almacenamiento.

En nuestra industria, se practica ampliamente la emisión de sistemas de almacenamiento para la operación de prueba durante uno o dos días. El proveedor ejecuta una prueba de 20 minutos en un sistema vacío, recibiendo indicadores de rendimiento basados ​​en el espacio. Y en la operación real, "rastrillos submarinos" salen rápidamente. Después de un día, los hermosos valores de IOPS se reducen a la mitad o tres, y si el almacenamiento se llena en un 80%, son aún menos. Cuando RAID 5 está activado, en lugar de RAID 10, se pierde otro 10-15%, y en el modo de clúster metropolitano, el rendimiento se reduce a la mitad.

Todo lo anterior no se trata de Dorado V6. Nuestros clientes tienen la oportunidad de realizar una prueba de rendimiento el fin de semana o al menos por la noche. Luego, la recolección de basura se manifiesta y también queda claro cómo la activación de varias opciones, como las instantáneas y la replicación, afecta la cantidad de IOPS lograda.

En Dorado V6, las instantáneas y RAID con paridad prácticamente no tienen efecto en el rendimiento (3-5% en lugar de 10-15%). La recolección de basura (llenado de celdas de unidades con ceros), compresión, deduplicación en sistemas de almacenamiento que están 80% llenos siempre afectará la velocidad general del procesamiento de solicitudes. Pero es Dorado V6 lo que es interesante, ya que no importa qué combinación de funciones y mecanismos de protección active, el rendimiento total del sistema de almacenamiento no caerá por debajo del 80% de la cifra obtenida sin carga.



Balanceo de carga


Dorado V6 de alto rendimiento se logra a través del equilibrio en cada etapa, a saber:

  • multipassing;
  • uso de varias conexiones de un host;
  • la presencia de una fábrica de front-end;
  • paralelización del funcionamiento de los controladores de almacenamiento;
  • equilibrio de carga en todas las unidades en RAID 2.0+.

En principio, esta es una práctica común. Hoy en día, pocas personas guardan todos los datos en un LUN: todos intentan tener ocho, incluso cuarenta o incluso más. Este es el enfoque obvio y correcto que compartimos. Pero si su tarea requiere solo un LUN, que es más fácil de mantener, nuestras soluciones arquitectónicas pueden lograr el 80% del rendimiento disponible cuando se usan múltiples LUN.



Programación dinámica de carga del procesador


La distribución de carga en los procesadores cuando se usa un LUN se implementa de la siguiente manera: las tareas a nivel de LUN se dividen en pequeños "fragmentos" separados, cada uno de los cuales está rígidamente asignado a un controlador específico en el "motor". Esto se hace para que el sistema no pierda rendimiento al "saltar" con este dato en diferentes controladores.

Otro mecanismo para mantener un alto rendimiento es el sheduling dinámico, en el que los núcleos de procesador se pueden asignar a diferentes grupos de tareas. Por ejemplo, si ahora el sistema está inactivo a nivel de deduplicación y compresión, algunos de los núcleos pueden incluirse en el proceso de servicio de E / S. O viceversa. Todo esto se hace de forma automática y transparente para el usuario.

Los datos sobre la carga actual de cada uno de los núcleos Dorado V6 no se muestran en la interfaz gráfica, pero a través de la línea de comandos puede acceder al sistema operativo del controlador y utilizar el comando superior habitual de Linux .



Soporte para NVMe y RoCE


Como ya se mencionó, en este momento Dorado V6 es totalmente compatible con NVMe a través de Fibre Channel y no requiere ninguna licencia. Soporte de mitad de año para NVMe sobre Ethernet. Para su uso completo, necesitará soporte de Ethernet con acceso directo a memoria (DMA) versión v2.0 tanto desde el sistema de almacenamiento como desde el lado de los conmutadores y adaptadores de red. Por ejemplo, como Mellanox ConnectX-4 o ConnectX-5. Puede usar tarjetas de red hechas en base a nuestros microcircuitos. El soporte de RoCE también debe implementarse a nivel del sistema operativo.

En general, consideramos que el Dorado V6 es un sistema orientado a NVMe. A pesar del soporte existente para Fibre Channel e iSCSI, está previsto cambiar a Ethernet de alta velocidad con RDMA en el futuro.




Una pizca de marketing


Debido al hecho de que el sistema Dorado V6 es altamente resistente a fallas, escala bien, soporta varias tecnologías de migración, etc., el efecto económico de su adquisición se manifiesta con el comienzo de la operación intensiva de los sistemas de almacenamiento. Continuaremos tratando de hacer que la propiedad del sistema sea lo más rentable posible, incluso si no es sorprendente en la primera etapa.

En particular, hemos formado el programa FLASH EVER relacionado con la extensión del ciclo de vida del almacenamiento y diseñado para descargar al cliente tanto como sea posible durante las actualizaciones.



Este programa incluye una serie de medidas:

  • ( Dorado V6 hi-end);
  • ( Dorado );
  • ( Dorado).



Queda por notar que la difícil situación en el mundo tuvo poco efecto en las perspectivas comerciales del nuevo sistema. A pesar del hecho de que el lanzamiento oficial de Dorado V6 tuvo lugar solo en enero, vemos una demanda significativa en China, así como un gran interés por parte de socios rusos e internacionales del sector financiero y de agencias gubernamentales.

Entre otras cosas, en relación con la pandemia, no importa cuánto duren, la cuestión de proporcionar a los empleados remotos escritorios virtuales es especialmente grave. En este proceso, Dorado V6 también podría eliminar muchas preguntas. Para hacer esto, estamos haciendo todos los esfuerzos necesarios, incluido prácticamente aceptar incluir el nuevo sistema en la lista de compatibilidad de VMware.

***


Por cierto, no se olvide de nuestros numerosos seminarios web, que se llevan a cabo no solo en el segmento de idioma ruso, sino también a nivel mundial. La lista de seminarios web para abril está disponible aquí .

All Articles