🌝 🤲🏼 🛷 Solução HiDC para a construção de uma moderna infraestrutura de TIC de data centers baseada em equipamentos Huawei Enterprise 🎥 🐍 🧜🏼

Com uma visão geral de todas as soluções modernas da Huawei Enterprise introduzidas em 2020, passamos a histórias mais específicas e detalhadas sobre idéias e produtos individuais que podem servir de base para a transformação digital de grandes empresas e agências governamentais. Hoje - sobre quais conceitos e tecnologias a Huawei propõe construir com base em data centers.

Na era do "mundo conectado", as tarefas de armazenamento e processamento de dados exigem novas abordagens em todas as etapas do ciclo de vida do data center. Eles devem se tornar simultaneamente mais simples e "mais inteligentes" para lidar com o papel que lhes é atribuído como elementos centrais da infraestrutura da economia digital global.

Em 2018, a humanidade armazenou 33 zettabytes de informações, mas até 2025 seu volume total deverá crescer mais de cinco vezes. Três décadas de experiência no desenvolvimento de infraestruturas de TIC permitiram à Huawei se preparar bem para o crescente “tsunami de dados” e oferecer a seus parceiros e clientes o conceito de um data center inteligente, incluindo todas as etapas de sua construção, operação e manutenção. Os elementos desse conceito são combinados com o nome geral HiDC.

Digitalize-o

Uma nova piada percorre a web: quem mais acelerou a transformação digital da sua empresa - CEO, CTO, conselho de administração? A epidemia de coronavírus! Somente o preguiçoso não realiza webinars, não escreve artigos, não diz como e o que fazer. Mas todas essas são ações reativas. Alguns se prepararam com antecedência.

Não para se gabar - por razões objetivas, vamos citar como exemplo nossa empresa, na qual a transformação digital foi lançada em larga escala há vários anos. Atualmente, somos capazes de transferir quase todos os funcionários para trabalhar em casa sem perda de eficiência. A história com um hospital construído em Wuhan em dez dias é indicativa. Lá, a transformação digital se comprovou no fato de que todos os sistemas de TI foram implantados em três dias. Portanto, a transformação digital não é sobre "quando" e "por que", mas sobre "como".

Abordagem arquitetônica em vez de desenvolvimento espontâneo

Quais são os principais problemas que nos confrontam quando começamos a construir um determinado sistema? Até agora, todos os nossos clientes estão trabalhando no modo de combinar tarefas de negócios com serviços de aplicativos e soluções de TI. É muito difícil ter uma idéia geral do funcionamento de um complexo assim se ele foi criado simplesmente adicionando vários blocos. E para construir um sistema como um organismo único, é necessário, em primeiro lugar, uma abordagem arquitetônica. Nós o incorporamos na ideologia da nossa solução HiDC.

Valor máximo e valor mínimo

Toda a estrutura HiDC é composta por duas partes principais. O primeiro é o que você está acostumado a ver com a Huawei, uma infraestrutura clássica. Os elementos da segunda fatia são mais facilmente combinados pelo termo "dados inteligentes".

Por que isso é necessário? Atualmente, muitas empresas acumulam enormes quantidades de informações, geralmente espalhadas ou acessíveis através de vários tipos de "postura". Sim, use pelo menos bancos de dados regulares. Pergunte aos administradores de banco de dados como esses bancos de dados estão interconectados e como usar as informações deles nos sistemas de BI para tomar decisões de negócios. Surpreendentemente, os DBs são frequentemente muito pouco conectados entre si e funcionam como “ilhas” separadas. Portanto, antes de tudo, pensamos em quais abordagens arquitetônicas esse problema poderia ser eliminado.

Princípios de Design de Arquitetura HiDC

Considere os princípios básicos de design do HiDC. Antes de tudo, será útil não para especialistas de qualquer direção específica, mas para arquitetos de soluções que possam cobrir todo o panorama com um olhar.

As mais comuns são unidades de rede convergida e unidades de gerenciamento de dados. E já aqui surge um conceito no qual os arquitetos de soluções raramente pensam - gerenciamento do ciclo de vida dos dados. A partir de bancos de dados clássicos, ele migrou para muitos outros sistemas, incluindo computação em nuvem e de fronteira.

. — , . , «» — , . ( — ).

É ótimo quando temos à disposição todos os seis blocos da estrutura HiDC. No entanto, frequentemente os clientes trabalham em um ambiente criado anteriormente. No entanto, o uso de apenas um quarteirão do circuito acima pode dar frutos. E se você adicionar um segundo, terceiro e assim por diante, um efeito sinérgico começará a aparecer. A combinação de uma rede e um sistema de armazenamento distribuído por si só proporcionará maior desempenho e menor latência. A abordagem de blocos nos permite desenvolver não aleatoriamente, como acontece frequentemente no setor, mas usando uma abordagem arquitetônica integrada. Bem, a abertura dos próprios blocos oferece liberdade na escolha da solução ideal.

Tempos de rede convergente

Recentemente, no mercado mundial e russo, estamos cada vez mais promovendo zelosamente o conceito de redes convergentes. Atualmente, nossos clientes estão usando soluções convergentes no RoCEv2 (RDMA sobre Ethernet convergida v2) para criar sistemas de armazenamento distribuído definido por software. A principal vantagem dessa abordagem é a sua abertura e a ausência da necessidade de criar um número indefinido de redes diferentes.

Por que você não fez isso antes? Lembre-se de que o padrão Ethernet foi desenvolvido em 1969. Por meio século, acumulou muitos problemas, mas a Huawei aprendeu a resolvê-los. Agora, graças a várias etapas adicionais, podemos usar a Ethernet para aplicativos de missão crítica, soluções altamente carregadas etc.

Do DCN ao DCI

A próxima tendência importante é o efeito sinérgico da introdução do DCI (Data Center Interconnect). Na Rússia, ao contrário da China, algo semelhante até agora só pode ser encontrado entre as operadoras de telecomunicações. Quando os clientes consideram soluções de rede para o data center, geralmente não prestam a devida atenção à profunda integração de redes ópticas e soluções IP clássicas em um único ponto de presença. Eles usam soluções familiares que funcionam na camada IP, o que é suficiente para eles.

Por que então você precisa da DCI? Imagine que o administrador do host DWDM e o administrador da rede agem de forma independente. Em algum momento, a falha que ocorreu a qualquer um deles pode reduzir seriamente sua tolerância a falhas. E se usarmos o princípio da sinergia, o roteamento IP será realizado levando em consideração o que está acontecendo na rede óptica. O uso desse serviço inteligente aumenta significativamente o número de noves no nível de disponibilidade de todo o sistema.

Outra grande vantagem do nosso DCI é sua grande margem de desempenho. Resumindo as possibilidades dos intervalos C e L, você pode obter cerca de 220 lambdas. É improvável que essa reserva seja esgotada rapidamente, mesmo por um grande cliente corporativo, já que nossa solução atual permite transferir até 400 Gbit / s por cada lambda. No futuro, no mesmo equipamento, será possível atingir 800 Gb / s.

Conveniência adicional é fornecida pela controlabilidade geral que fornecemos através de interfaces classicamente abertas. O NETCONF gerencia não apenas os comutadores, mas também os dispositivos de compactação óptica, o que permite alcançar a convergência em todos os níveis e perceber o sistema como um recurso intelectual e não como um "conjunto de caixas".

Edge computing é mais importante

Muitos já ouviram falar sobre Edge Computing. E aqueles envolvidos na nuvem e nos data centers clássicos, deve-se ter em mente que recentemente vimos uma mudança séria na direção da computação de fronteira.

O que causou isso? Vamos dar uma olhada nos modelos gerais de implementação. Agora eles falam muito sobre “cidades inteligentes”, “casas inteligentes” etc. Esse conceito permite ao desenvolvedor criar valor agregado e aumentar o preço do imóvel. "Smart Home" identifica seu residente, deixa entrar e sair, fornece alguns serviços. Segundo as estatísticas, esses serviços adicionam cerca de 10 a 15% ao preço dos apartamentos e, em geral, são capazes de impulsionar o desenvolvimento de novos modelos de negócios. Além disso, anteriormente foi dito sobre os conceitos de pilotos automáticos. Em breve, o desenvolvimento das tecnologias 5G e Wi-Fi 6 garantirá uma latência extremamente baixa na transferência de dados entre residências inteligentes, carros e o principal data center que produz computação nas fronteiras. Isso significa que será possível executar um número muito maior de operações relacionadas ao processamento sério de dados. Para resolver esses problemas,em particular, você pode usar processadores neurais que já são enviados para a Rússia.

As perspectivas para a tendência descrita são inegáveis. Imagine, por exemplo, um sistema inteligente de gerenciamento de transporte urbano que possa trocar semáforos, regular cargas de tráfego em ruas específicas ou até tomar medidas adequadas em situações de emergência.

Agora vamos aos recursos com os quais fornecemos a implementação do conceito HiDC.

Cálculos

Quando precisamos implementar um sistema de computação padrão, os processadores com arquitetura x86 estão, é claro, usando-o. Mas assim que surgir a necessidade de personalização, é hora de pensar em soluções mais diversas.

Assim, por exemplo, os processadores ARM, devido ao grande número de núcleos, são excelentes para aplicativos com alto grau de paralelismo. O multithreading proporciona um ganho de produtividade de cerca de 30%.

Se a baixa latência é fundamental para nós, os FPGAs vêm à tona.

Os processadores neurais são principalmente necessários na solução de problemas de aprendizado de máquina. Se para uma implementação específica precisarmos de 16 racks com 8 servidores, cada um equipado com neuroprocessadores, uma solução do mesmo nível baseada na arquitetura x86 exigiria (!) Cerca de 128 racks. Como você pode ver, uma grande variedade de tipos de cálculos faz com que você escolha cuidadosamente as plataformas de hardware.

Armazenamento de dados

Pelo segundo ano, a Huawei convocou parceiros, clientes e colegas do setor para construir sistemas de armazenamento de acordo com o princípio do Flash Only. E a maioria de nossos clientes usa acionamentos mecânicos de fuso apenas em soluções antigas ou para dados de arquivo raramente usados.

Os sistemas flash também estão evoluindo. Sistemas de memória de classe de armazenamento (SCM), como o Intel Optane, estão chegando ao mercado. Desenvolvimentos interessantes são demonstrados por fabricantes chineses e japoneses. Atualmente, o SCM é superior na classe de processamento a todas as outras soluções. Até agora, apenas o alto custo não permite que eles sejam usados em qualquer lugar.

Ao mesmo tempo, vemos que a qualidade do armazenamento deve ser melhorada não apenas no back-end condicional, mas também no front-end. Agora, de fato, em novas implementações, geralmente oferecemos e usamos mecanismos para acesso direto à memória via Ethernet, mas vemos uma solicitação dos clientes e, portanto, até o final do ano, começaremos a usar o NVMe sobre tecidos com mais frequência. Além disso, de ponta a ponta, para fornecer uma arquitetura comum que, é claro, deve ser de alto desempenho e resistente à falha dos controladores.

O OceanStor Dorado Storage é um dos nossos principais produtos. Testes internos mostraram que ele fornece desempenho no nível de 20 milhões de IOPS, mantendo a operabilidade em caso de falha de sete dos oito controladores.

Por que tanto poder? Vamos olhar para a situação atual. Há vários meses, o povo chinês passa muito mais tempo em casa em conexão com o regime de isolamento. O tráfego da Internet no momento aumentou em média 30% e, em algumas províncias, até dobrou. O consumo de uma variedade de serviços de rede aumentou. E, em algum momento, os mesmos bancos começaram a experimentar uma carga adicional séria, para a qual seus sistemas de armazenamento não estavam prontos.

É claro que nem todo mundo precisa de 20 milhões de IOPS agora. Mas o que acontecerá amanhã? Nossos sistemas inteligentes maximizam o potencial dos processadores neurais para garantir compactação de tráfego, desduplicação, otimização e recuperação rápida de dados.

Rede principal

2020, como mencionamos no artigo anterior, será o ano das redes principais para nós. Muitos clientes, especialmente provedores de serviços de aplicativos (ASPs) e bancos, já estão pensando em como seus aplicativos funcionarão precisamente em termos de comunicação com data centers e entre data centers. Aqui, uma nova rede principal vem em socorro. Como exemplo, vamos considerar os maiores bancos chineses, que mudaram para sistemas de suporte simplificados que usam não uma dúzia de protocolos diferentes para comunicação entre data centers, mas, relativamente falando, alguns - OSPF e SRv6. Apesar do fato de a organização receber o mesmo conjunto de serviços.

Recursos intelectuais

Como usar os dados? Até recentemente, havia um sistema fragmentado de bancos de dados diferentes: Microsoft SQL, MySQL, Oracle etc. Para trabalhar com eles, foram utilizadas soluções do campo de big data que poderiam combinar esses dados, coletá-los e trabalhar com eles. Tudo isso criou uma alta carga de recursos.

Ao mesmo tempo, não havia mecanismo para executar operações com dados na ocorrência de um evento. A solução foi desenvolver os princípios de gerenciamento do ciclo de vida dos dados (DLM).

Todo mundo já ouviu falar sobre lagos de dados. Com a transição do gerenciamento de dados para a governança de dados, os "lagos digitais" começaram a "ficar mais sábios" rapidamente. Incluindo graças às soluções da Huawei. Nos materiais a seguir, falaremos sobre toda a pilha de tecnologias de software que usamos. Agora, é importante observar que foi o uso do gerenciamento "inteligente" do ciclo de vida dos dados que nos permitiu simplificar o uso de nossa rede e servidores, além de aprender a criar arquiteturas de ponta a ponta para entender melhor os princípios de trabalho com dados.

Infraestrutura de engenharia de data center

Publicaremos materiais separados sobre a infraestrutura de engenharia, no entanto, no contexto do tópico de hoje, gostaríamos de mencionar as alterações relacionadas ao conceito HiDC.

Por um longo tempo, o uso de baterias de lítio nos sistemas de fonte de alimentação de emergência e reserva (PSA) do data center foi banido devido ao seu alto risco de incêndio. Qualquer dano mecânico ou violação da integridade da bateria pode levar a incêndios e consequências imprevisíveis. Nesse sentido, os PSAs foram equipados com baterias de ácido obsoletas, com baixa densidade de carga específica e grande massa.

Os novos sistemas de energia de emergência e backup da Huawei utilizam baterias inteligentes de fosfato de ferro e lítio (LFP) com controle proativo inteligente. Na mesma capacidade, eles ocupam três vezes menos volume que as baterias ácidas. Seu ciclo de vida é de 10 a 15 anos, o que, entre outras coisas, reduz a carga ambiental que eles criam. O sistema de controle patenteado no ecossistema SmartLi permite o uso de sistemas híbridos que consistem em matrizes de baterias antigas e novas, e o sistema de comutação permite alterações "quentes" na estrutura do PSA, com preservação contínua da função de backup.

Operação inteligente

Uma parte importante dos princípios de operação da infraestrutura HiDC é a ideologia da autocura inteligente. Em uma de nossas publicações anteriores, mencionamos a plataforma inteligente O&M 1-3-5, capaz de detectar e analisar um evento indesejável no sistema, além de oferecer ao administrador várias opções para uma solução totalmente automatizada para o problema.

A função de introspecção permite detectar problemas em cerca de um minuto. Três minutos são gastos na análise e, dentro de cinco minutos, são feitas propostas para alterar o estado do sistema.

Suponha que um certo erro do operador tenha levado à formação de um loop fechado de processos que reduz o desempenho do farm de virtualização de 100 para 77%. O administrador do data center recebe uma mensagem em seu painel que contém uma visualização completa do problema, incluindo um diagrama de rede dos recursos afetados pelo processo indesejado. Além disso, o administrador pode prosseguir para corrigir a situação manualmente ou usar um dos vários cenários de recuperação automática propostos.

O sistema conhece cerca de 75 cenários que podem ser implementados em menos de dez minutos, além de cobrir 90% dos problemas encontrados nos data centers. Nesse momento, o engenheiro pode atender com calma as ligações dos clientes em causa, confiando que o serviço será restaurado a qualquer momento.

Novos produtos-chave na HiDC

Além dos produtos de software, isso deve incluir as principais soluções que operam no nível da infraestrutura. Antes de tudo, precisamos mencionar os processadores neurais usados em nossa família Atlas de clusters de IA, bem como servidores baseados em NPU e GPU.

Além disso, você não pode mencionar novamente o Dorado e seu desempenho recorde em sua classe, o que é suficiente por muitos anos. Isso é especialmente verdade no espaço pós-soviético, onde, com raras exceções, é habitual atualizar algo apenas quando ele para de funcionar completamente. Isso explica a vida útil dos sistemas de armazenamento individuais, atingindo dez anos. Uma enorme produtividade é necessária para a Dorado, a fim de fornecer serviços de alta qualidade em dez anos.

Inovação em todos os elementos

Ao escolher soluções de infraestrutura específicas, não se deve esquecer a arquitetura e os cenários de seu desenvolvimento. Produtos distintos de diferentes fabricantes não garantem o efeito sinérgico esperado que as soluções já otimizadas para compartilhamento fornecerão.

A infraestrutura deve ser baseada na tecnologia correta. "Correto" inclui abrir, fornecendo alta taxa de transferência, funcionando de maneira estável a altas cargas. Para data centers, por exemplo, é importante uma boa proporção do consumo total de energia e da carga de TI. Para atingir todos esses objetivos, você precisa escolher o ambiente e os componentes. Nas condições modernas, isso também significa o uso cada vez mais amplo da inteligência artificial.

De acordo com nossas observações, entre os clientes estratégicos da Huawei, há menos que ainda não usam sistemas de aprendizado de máquina. Sem o ML, você simplesmente não pode maximizar a monetização dos dados acumulados.

O sistema de monetização pode ser diferente: para bancos - a oferta de novos produtos direcionados, para operadoras de telecomunicações - a prestação de serviços e lealdade individuais, para clientes governamentais - gerenciamento de ciclo de vida de dados de alta qualidade e alto nível de interação com outras organizações. Afinal, os modelos de gerenciamento de dados não foram reduzidos à configuração de um firewall e à garantia da visibilidade da rede de seus bancos de dados por um longo tempo.

De uma ideia a um data center existente

Construir um data center padrão, na melhor das hipóteses, leva um ano e meio. Nosso ciclo de produção nos permite fazer isso muito mais rapidamente, graças ao uso de um grupo de soluções, unidas sob o nome geral FusionDC 2.0. Projeto, desenvolvimento de um projeto de alto nível, montagem de todos os elementos da carga de TI são realizados diretamente na fábrica. Em pouco tempo, o equipamento por contêineres marítimos é entregue da China para a Rússia. Como resultado, a criação de um data center pronto para uso pode ser alcançada em apenas quatro a cinco meses.

A idéia de um data center em nuvem pré-fabricado também é interessante porque é possível desenvolver um data center em etapas, adicionando os blocos funcionais necessários a ele. Essa abordagem está embutida no próprio conceito HiDC.

Para não transformar o material da pesquisa em uma folha de dados, para obter mais informações sobre o HiDC, sugerimos que você acesse nosso site . Lá você encontrará uma descrição e exemplos da implementação das abordagens, produtos e soluções de que falamos. Quanto mais materiais, maior o seu nível de acesso ao site. Se você recebeu o status de "parceiro", pode fazer o download de roteiros HiDC, apresentações técnicas e vídeos.

Ousamos assumir que a maioria dos leitores deste artigo possui as competências de arquitetos de rede. Eles certamente estarão interessados em visitar nossa zona de design.. Lá, falamos em detalhes sobre como construir uma infraestrutura de rede de acordo com as regras do Huawei Validated Design (HVD). As diretrizes disponíveis para download ajudarão a entender completamente como as soluções da empresa funcionam. Não esqueça apenas que, sem autorização, você estará disponível menos materiais.

***

Inúmeros webinars, realizados não apenas no segmento de língua russa, mas também em nível internacional, ajudarão você a encontrar o seu caminho. Nós os compartilhamos com informações sobre nossos produtos e práticas comerciais. Em particular, falamos sobre como a Huawei, no contexto da quebra de muitas cadeias de serviços, continua a fornecer entrega contínua de seus produtos a diferentes países. Recentemente, por exemplo, houve um caso em que o equipamento recém-fabricado para o data center chegou ao cliente de Moscou em apenas três semanas.

A lista de seminários on-line para abril está disponível aqui .

Solução HiDC para a construção de uma moderna infraestrutura de TIC de data centers baseada em equipamentos Huawei Enterprise