Get best of the week

Por que as empresas devem mudar para um ambiente aberto antes da era do zettabyte?

O crescimento dos dados está subindo uma trajetória acentuada e, de acordo com as previsões da International Data Corporation (IDC) , em 2023 103 zettabytes de informações serão gerados em todo o mundo. Com a expansão dos dispositivos 5G IoT e um crescimento significativo nas empresas de vídeo, as empresas adaptarão suas tecnologias para armazenar dados e extrair informações valiosas deles, e até agora mal entramos em contato com esse processo. Embora uma coisa já possa ser dita com certeza: está claro que, à beira de uma era de zettabytes, as empresas devem reconsiderar suas abordagens à arquitetura dos data centers para acompanhar essas tendências no futuro.



Uma nova abordagem para a arquitetura de armazenamento na era Zettabyte


Primeiro de tudo, o que é zettabyte? Zettabytes são um trilhão de gigabytes. São muitos dados, mas - diferentemente de um gigabyte ou mesmo de um terabyte - nem todo mundo conhece a palavra "zettabyte", e o motivo pode ser que a necessidade de armazenar esse volume de informações para fins comerciais é rara. Mas isso nem sempre será.

Inovação, produtos e requisitos durante essa nova mudança arquitetônica dependerão de vários fatores-chave.

Primeiro: a necessidade de desagregar os sistemas de computação, SDH e recursos de rede, a fim de maximizar o uso eficaz e ideal de cada um desses componentes. A desagregação é a única maneira de lidar com o volume, a velocidade e a variedade de dados que a era do zettabyte trará.

Segundo: a infra-estrutura de armazenamento deve ser construída especificamente para fins específicos. As empresas não poderão mais confiar em soluções não especializadas para uso generalizado, uma vez que uma única solução simplesmente não será capaz de resolver toda a gama de tarefas em larga escala. No mundo dos zettabytes, as empresas terão que trabalhar da maneira mais produtiva possível e concentrar toda a atenção em alcançar um objetivo - garantir o equilíbrio perfeito entre capacidade, densidade e custo.

Terceiro: todos os vários elementos do processo devem estar em interface entre si e processar os dados de maneira inteligente. A interação entre hardware e software deve ser configurada, mas, para desenvolver adequadamente o hardware e o software, você precisa conhecer bem o conjunto completo de tecnologias; somente assim será possível maximizar o desempenho e a funcionalidade de todo o complexo.

Soluções especializadas baseadas na tecnologia de gravação magnética em mosaico (SMR)


Ao considerar possíveis soluções que possam atender às necessidades orientadas por dados da próxima década, parece importante obter feedback das comunidades profissionais de software livre e Linux sobre as principais tecnologias subjacentes à gravação magnética em mosaico (SMR). Com o SMR, as faixas de dados são colocadas no disco, uma acima da outra, pois os fabricantes deste equipamento podem aumentar a capacidade em cerca de 20%. Isso só é possível com a gravação seqüencial da faixa superior de dados, então a faixa inferior não muda.

Para muitas soluções hiperescaláveis, a gravação sequencial será uma boa opção, pois tarefas de trabalho em grande escala, como streaming de vídeo, são implementadas usando o princípio de gravação única / leitura múltipla. Porém, para melhorar o desempenho da implementação do SMR, é necessário redesenhar a arquitetura no lado final do host: você precisa alterar o sistema operacional para publicar sequencialmente registros ou até permitir que o aplicativo veja que os dados estão sendo gravados seqüencialmente.

No estágio inicial, algumas mudanças serão necessárias para alterar a arquitetura, mas enormes vantagens em termos de aumento de densidade e redução de custos demonstrarão claramente todas as vantagens de hardware e estruturas especializadas que levam em consideração os recursos do aplicativo.

Usando a tecnologia de espaços para nome com zonas


A comparação de HDDs com suporte à tecnologia SMR e SSDs pode parecer estranha, porque de várias maneiras essas tecnologias estão conceitualmente muito distantes. No entanto, se você observar os SSDs e NANDs no contexto de seu lugar em um futuro desagregado, poderá encontrar a tecnologia que acompanha o SMR / HDD, que é chamada de Zoned Namespaces (ZNS).

Os dispositivos de armazenamento com memória NAND são projetados apenas para um certo número de exclusões e registros e, portanto, precisam ser gerenciados. A camada FTL (Flash Translation Layer) gerencia de maneira inteligente tudo, desde o cache até o desempenho e permite uniformizar o desgaste. No entanto, em uma escala de zettabyte, esse controle no nível do dispositivo introduz um nível intermediário entre o host e a unidade específica, o que afeta negativamente a largura de banda, a latência e o custo.

Mas, na nova era, as empresas desejarão manter esses indicadores sob controle e maximizar a eficiência do trabalho; portanto, essa função de gerenciamento deve ser transferida do nível do dispositivo para o nível do host, e a essência da abordagem SMR é precisamente isso.

O ZNS divide a unidade flash em zonas e cada zona se torna um espaço para nome isolado. Os provedores de soluções em nuvem podem, por exemplo, distribuir diferentes tipos de cargas de trabalho ou dados em diferentes zonas, ganhando a capacidade de identificar padrões de uso previsíveis para um determinado número de usuários. Mais importante, porém, os dados são gravados seqüencialmente na zona, como em gravações magnéticas lado a lado. E de repente a necessidade de todo esse gerenciamento de unidade simplesmente desaparece. Total:

  • economia adicional, uma vez que não há necessidade de inflar o "parque" de drives flash NAND;
  • prolongando a vida útil do disco reduzindo a gravação excessiva;
  • redução significativa no atraso;
  • um aumento sério na largura de banda.



Zoned Storage - a plataforma unificadora para suportar as tecnologias SMR e ZNS


À medida que as empresas se preparam para aumentar suas necessidades de informações, é dado um papel importante a iniciativas como Zoned Storage, trabalhando com a comunidade profissional para estabelecer o ZNS como um padrão aberto que pode usar as mesmas interfaces e API (API) que o SMR. Esta etapa permitirá que os usuários usem uma única interface para acessar toda a camada de armazenamento. Como resultado, os arquitetos de datacenter acharão mais fácil mudar para arquiteturas baseadas em zettabyte porque não precisam alterar aplicativos, independentemente da solução de armazenamento que escolherem. O uso de arquiteturas desagregadas, especializadas e inteligentes permitirá que as empresas encontrem um novo equilíbrio entre desempenho, latência e custo.

More articles:


All Articles