Get best of the week

¿Por qué las empresas deberían cambiar a un entorno abierto antes de la era zettabyte?

El crecimiento de los datos está subiendo por una empinada trayectoria y, según las previsiones de la International Data Corporation (IDC) , en 2023 se generarán 103 zettabytes de información en todo el mundo. Con la expansión de los dispositivos 5G IoT y un crecimiento significativo en las compañías de video, adaptarán sus tecnologías para almacenar datos y extraer información valiosa de ellos, y hasta ahora apenas hemos entrado en contacto con este proceso. Aunque una cosa ya se puede decir con confianza: está claro que, en el umbral de la era de los zettabytes, las empresas deben reconsiderar sus enfoques sobre la arquitectura de los centros de datos para mantenerse al día con esas tendencias en el futuro.



Un nuevo enfoque para la arquitectura de almacenamiento en la era de Zettabyte


En primer lugar, ¿qué es zettabyte? Los zettabytes son un billón de gigabytes. Esta es una gran cantidad de datos, pero, a diferencia de un gigabyte o incluso un terabyte, no todos conocen la palabra "zettabyte", y la razón puede ser que la necesidad de almacenar ese volumen de información con fines comerciales es rara. Pero esto no siempre será así.

La innovación, los productos y los requisitos durante este nuevo cambio arquitectónico dependerán de varios factores clave.

Primero: la necesidad de desagregar los sistemas informáticos, SDH y los recursos de red para maximizar el uso efectivo y óptimo de cada uno de estos componentes. La desagregación es la única forma de lidiar con el volumen, la velocidad y la variedad de datos que traerá consigo la era del zettabyte.

Segundo: la infraestructura de almacenamiento debe ser construida específicamente, es decir, especializada. Las empresas ya no podrán confiar en soluciones no especializadas para un uso generalizado, ya que una solución única simplemente no podrá resolver toda la gama de tareas a gran escala. En el mundo de los zettabytes, las empresas tendrán que trabajar de la manera más productiva posible y centrar toda su atención en lograr un objetivo: garantizar el equilibrio perfecto entre capacidad, densidad y costo.

Tercero: todos los diversos elementos del proceso deben interactuar entre sí y procesar de manera inteligente los datos. La interacción entre el hardware y el software debe configurarse, pero para desarrollar adecuadamente tanto el hardware como el software, debe estar bien versado en el conjunto completo de tecnologías, solo entonces será posible maximizar el rendimiento y la funcionalidad de todo el complejo.

Soluciones especializadas basadas en tecnología de grabación magnética en mosaico (SMR)


Al considerar las posibles soluciones que podrían satisfacer las necesidades basadas en datos de la próxima década, parece importante recibir comentarios de las comunidades profesionales de software libre y Linux sobre las tecnologías clave que subyacen a la grabación magnética en mosaico (SMR). Con SMR, las pistas de datos se colocan en el disco una encima de la otra, debido a que los fabricantes de este equipo pueden aumentar la capacidad en aproximadamente un 20%. Esto solo es posible con la grabación secuencial de la pista de datos superior, luego la pista inferior no cambia.

Para muchas soluciones hiperescalables, la grabación secuencial será una buena opción, ya que las tareas de trabajo a gran escala, como la transmisión de video, se implementan en una escritura / lectura múltiple. Pero mejorar el rendimiento para implementar SMR requiere rediseñar la arquitectura en el lado del host final: debe cambiar el sistema operativo para publicar registros secuencialmente, o incluso dejar que la aplicación vea que los datos se escriben secuencialmente.

En la etapa inicial, se requerirán algunos cambios para cambiar la arquitectura, pero las enormes ventajas en términos de aumentar la densidad y reducir los costos demostrarán claramente todas las ventajas del hardware especializado y las estructuras que tienen en cuenta las características de la aplicación.

Uso de la tecnología de espacios de nombres zonificados


Comparar discos duros con soporte para tecnología SMR y SSD puede parecer extraño, porque en muchos sentidos estas tecnologías están conceptualmente muy alejadas. Sin embargo, si observa SSD y NAND en el contexto de su lugar en un futuro desglosado, puede encontrar la tecnología que acompaña a SMR / HDD, se llama Espacios de nombres zonificados (ZNS).

Los dispositivos de almacenamiento con memoria NAND están diseñados solo para un cierto número de eliminaciones y registros y, por lo tanto, deben administrarse. La capa Flash Translation Layer (FTL) gestiona de forma inteligente todo, desde el caché hasta el rendimiento, y le permite igualar el desgaste. Sin embargo, en una escala de zettabytes, dicho control a nivel de dispositivo introduce un nivel intermedio entre el host y la unidad específica, lo que afecta negativamente el ancho de banda, la latencia y el costo.

Pero en la nueva era, las empresas querrán mantener estos indicadores bajo control y maximizar la eficiencia del trabajo, por lo que esta función de gestión debe transferirse desde el nivel del dispositivo al nivel del host, y la esencia del enfoque SMR es precisamente esto.

ZNS divide la unidad flash en zonas, y cada zona se convierte en un espacio de nombres aislado. Los proveedores de soluciones en la nube pueden, por ejemplo, distribuir diferentes tipos de cargas de trabajo o datos a diferentes zonas, obteniendo así la capacidad de identificar patrones de uso predecibles para un cierto número de usuarios. Pero lo más importante, los datos se escriben secuencialmente en la zona, como en las grabaciones magnéticas en mosaico. Y de repente, la necesidad de toda esta gestión de unidades simplemente desaparece. Total:

  • ahorros adicionales, ya que no hay necesidad de inflar el "parque" de unidades flash NAND;
  • extender la vida del disco al reducir la grabación excesiva;
  • reducción significativa en la demora;
  • Un serio aumento en el ancho de banda.



Zoned Storage: la plataforma unificadora para soportar las tecnologías SMR y ZNS


A medida que las empresas se preparan para aumentar sus necesidades de información, se da un papel importante a iniciativas como Zoned Storage, que trabajan con la comunidad profesional para establecer ZNS como un estándar abierto que puede usar las mismas interfaces y la interfaz de programación de aplicaciones (API) que SMR. Este paso permitirá a los usuarios utilizar una única interfaz para acceder a todo el nivel de almacenamiento. Como resultado, a los arquitectos de centros de datos les resultará más fácil cambiar a arquitecturas basadas en zettabytes porque no tienen que cambiar las aplicaciones sin importar la solución de almacenamiento que elijan. El uso de arquitecturas desagregadas, especializadas e inteligentes permitirá a las empresas encontrar un nuevo equilibrio entre rendimiento, latencia y costo.

More articles:


All Articles