Por que o OceanStor Dorado V6 é o armazenamento mais rápido e confiável

Por favor, não se apresse nas conclusões por causa do cabeçalho! Temos argumentos de peso para apoiá-lo e os agrupamos da maneira mais compacta possível. Trazemos à sua atenção uma publicação sobre o conceito e os princípios de operação do nosso novo sistema de armazenamento de dados, lançado em janeiro de 2020.




Em nossa opinião, a principal vantagem competitiva da família de armazenamento Dorado V6 é fornecida pelo desempenho e confiabilidade mencionados no cabeçalho. Sim, é muito simples, mas devido a algumas decisões complicadas e não muito complicadas que conseguimos alcançar esse "justo", falaremos hoje.

Para revelar melhor o potencial dos sistemas de nova geração, falaremos sobre representantes seniores da gama de modelos (modelos 8000, 18000). Salvo indicação em contrário, eles estão implícitos.



Algumas palavras sobre o mercado


Para entender melhor o lugar das soluções da Huawei no mercado, recorremos à medida comprovada - os " quadrantes mágicos " do Gartner. Há dois anos, no setor de arrays de disco de uso geral, nossa empresa entrou com confiança no grupo de líderes, perdendo apenas para a NetApp e a Hewlett Packard Enterprise. Em 2018, a posição da Huawei no mercado de armazenamento de estado sólido foi caracterizada pelo status de "requerente", mas faltava algo para alcançar posições de liderança.

Em 2019, o Gartner, em sua pesquisa, combinou os dois setores acima em um - "Armazenamento principal". Como resultado, a Huawei voltou a se encontrar no quadrante de líderes, ao lado de fornecedores como IBM, Hitachi Vantara e Infinidat.

Para completar, observamos que o Gartner coleta 80% dos dados para análise no mercado dos EUA, e isso leva a um viés perceptível a favor das empresas que estão bem representadas nos EUA. Enquanto isso, os fornecedores voltados para os mercados europeu e asiático encontram-se em uma posição notavelmente menos vantajosa. E, apesar disso, no ano passado, os produtos da Huawei ocuparam o devido lugar no quadrante superior direito e, de acordo com o veredicto do Gartner, "podem ser recomendados para uso".



Novidades do Dorado V6


A linha de produtos Dorado V6, em particular, é representada pelos sistemas básicos da série 3000. Originalmente equipados com dois controladores, eles podem ser expandidos horizontalmente para 16 controladores, 1200 discos e 192 GB de cache. Além disso, o sistema será equipado com portas externas Fibre Channel (8/16/32 Gbit / s) e Ethernet (1/10/25/40/100 Gbit / s).

Observe que o uso de protocolos que não têm sucesso comercial está sendo eliminado; portanto, no início, decidimos abandonar o suporte ao Fibre Channel over Ethernet (FCoE) e Infiniband (IB). Eles serão adicionados em versões posteriores do firmware. O suporte ao NVMe over Fabric (NVMe-oF) está disponível imediatamente na parte superior do Fibre Channel. O próximo firmware, com lançamento previsto para junho, está programado para suportar o modo NVMe over Ethernet. Em nossa opinião, o conjunto acima cobrirá mais do que as necessidades da maioria dos clientes da Huawei.

Não há acesso a arquivos na versão atual do firmware e aparecerá em uma das seguintes atualizações mais perto do final do ano. A implementação é esperada no nível nativo, pelos próprios controladores com portas Ethernet, sem o uso de equipamento adicional.

A principal diferença entre a série Dorado V6 3000 e os modelos mais antigos é que, no back-end, ele suporta um protocolo - SAS 3.0. Assim, as unidades só podem ser usadas com a interface nomeada. Do nosso ponto de vista, o desempenho fornecido é suficiente para um dispositivo desse tipo.

Os sistemas Dorado V6 5000 e 6000 Series são soluções de médio alcance. Eles também são fabricados no formato 2U e estão equipados com dois controladores. Eles diferem entre si em desempenho, número de processadores, número máximo de discos e tamanho do cache. No entanto, em termos de arquitetura e engenharia, o Dorado V6 5000 e 6000 são idênticos e têm a mesma aparência.

A classe hi-end inclui os sistemas Dorado V6 das séries 8000 e 18000. Projetados nos tamanhos de quadro 4U, eles possuem, por padrão, uma arquitetura separada na qual os controladores e unidades são separados. Na configuração mínima, eles também podem ser equipados com apenas dois controladores, embora os clientes, em regra, sejam solicitados a instalar quatro ou mais.

O Dorado V6 8000 é dimensionado horizontalmente para 16 controladores e o Dorado V6 18000 - para 32. Esses sistemas possuem processadores diferentes com número diferente de núcleos e tamanho de cache. Por tudo isso, a identidade das soluções de engenharia é preservada, como nos modelos intermediários.

As prateleiras 2U com unidades são conectadas via RDMA com uma largura de banda de 100 Gb / s. O backend Dorado V6 mais antigo também suporta SAS 3.0, mas, no caso, os SSDs com essa interface caem de preço. Haverá viabilidade econômica de seu uso, mesmo levando em conta a menor produtividade. No momento, a diferença de custo entre SSDs com interfaces SAS e NVMe é tão pequena que não estamos prontos para recomendar essa solução.



Dentro do controlador


Os controladores Dorado V6 são fabricados em nossa própria base de elementos. Não há processadores Intel, nem Broadcom ASICs. Assim, todos os componentes da placa-mãe, assim como ela mesma, são completamente removidos da influência dos riscos associados à pressão de sanção das empresas americanas. Quem viu com nossos próprios olhos qualquer um de nossos equipamentos deve ter notado escudos com uma faixa vermelha sob o logotipo. Isso significa que o produto não possui componentes americanos. Este é o curso oficial da Huawei - a transição para componentes de sua própria produção ou, em qualquer caso, fabricados em países que não seguem a política dos EUA.

Aqui está o que você pode ver na própria placa controladora.

  • Interface de rede universal (chip Hisilicon 1822), responsável pela conexão ao Fibre Channel ou Ethernet.
  • BMC-, Hisilicon 1710, . .
  • , ARM Kunpeng 920 Huawei. , , . . . , Dorado V6 .
  • SSD ( Hisilicon 1812e), SAS-, NVMe-. , Huawei SSD, NAND, . , Huawei , .
  • — Ascend 310. , , . , . , .



Kunpeng


O processador Kunpeng é um sistema em um chip (SoC), onde, além da unidade de computação, existem módulos de hardware que aceleram vários processos, como calcular somas de verificação ou executar a "codificação de apagamento". Também implementa suporte de hardware para SAS, Ethernet, DDR4 (de seis a oito canais) etc. Tudo isso permite à Huawei criar controladores de armazenamento que não apresentam desempenho inferior às soluções clássicas da Intel.

Além disso, suas próprias soluções baseadas na arquitetura ARM oferecem à Huawei a oportunidade de criar soluções completas de servidores e oferecê-las aos seus clientes como uma alternativa ao x86.



A nova arquitetura do Dorado V6 ...


A arquitetura interna do sistema de armazenamento Dorado V6 mais antigo é representada por quatro subdomínios principais (fábricas).

A primeira fábrica é um front-end comum (interfaces de rede responsáveis ​​pela comunicação com uma fábrica ou hosts da SAN).

O segundo é um conjunto de controladores, cada um dos quais pode chegar à placa de rede front-end e ao “mecanismo” vizinho, que é uma caixa com quatro controladores, além de unidades de energia e refrigeração comuns a eles, usando o protocolo RDMA. Agora, os modelos high-end Dorado V6 podem ser equipados com dois desses "motores" (respectivamente, oito controladores).

A terceira fábrica é responsável pelo back-end e consiste em placas de rede RDMA 100G.

Por fim, a quarta fábrica “em ferro” é representada por prateleiras inteligentes plugáveis ​​com acionamentos.

Essa estrutura simétrica libera todo o potencial da tecnologia NVMe e garante alto desempenho e confiabilidade. O processo de E / S é paralelizado ao máximo entre processadores e núcleos, fornecendo leitura e gravação simultânea em vários encadeamentos.



... e o que ela nos deu


O desempenho máximo das soluções Dorado V6 é aproximadamente três vezes superior ao desempenho dos sistemas de geração anterior (da mesma classe) e pode atingir 20 milhões de IOPS.

Isso se deve ao fato de que, na geração anterior de dispositivos, o suporte ao NVMe se estendia apenas às prateleiras com unidades. Agora, ele está presente em todas as etapas, do host ao SSD. A rede de back-end também sofreu alterações: o SAS / PCIe deu lugar ao RoCEv2 com uma largura de banda de 100 Gb / s.

O fator de forma do SSD também mudou. Se anteriormente havia 25 unidades na prateleira 2U, agora foram trazidos até 36 discos físicos do tamanho de palma. Além disso, as prateleiras “mais sábias”. Agora, cada um deles possui um sistema tolerante a falhas de dois controladores baseados em chips ARM, semelhantes aos instalados nos controladores centrais.



Até o momento, eles estão envolvidos apenas na reorganização dos dados, mas com o lançamento do novo firmware, a codificação de compressão e apagamento será adicionada a ele, o que reduzirá a carga nos controladores principais de 15 para 5%. Transferir parte das tarefas para a prateleira ao mesmo tempo libera a largura de banda da rede interna. E tudo isso aumenta significativamente o potencial de escalabilidade do sistema.

A compactação e desduplicação nos sistemas de armazenamento da geração anterior foram realizadas com blocos de comprimento fixo. Agora, foi adicionado um modo de trabalhar com blocos de comprimento variável, que até agora precisa ser ativado à força. O firmware subsequente pode mudar esse fato.

Também brevemente sobre tolerância a falhas. O Dorado V3 permanece operacional se um dos dois falhar. O Dorado V6 garantirá a disponibilidade dos dados, mesmo que sete dos oito controladores ou quatro de um "mecanismo" falhem consecutivamente.



Confiabilidade Econômica


Recentemente, entre os clientes da Huawei, foi realizada uma pesquisa sobre que tipo de elementos simples de infraestrutura de TI a empresa considera aceitável. Na maioria das vezes, os entrevistados eram tolerantes com uma situação hipotética na qual o aplicativo não responde por várias centenas de segundos. Para o sistema operacional ou o adaptador de barramento do host, o tempo de inatividade crítico foi de dezenas de segundos (na verdade, o tempo de reinicialização). Os clientes exigem ainda mais a rede: sua largura de banda não deve desaparecer por mais de 10 a 20 segundos. Como você pode imaginar, os entrevistados consideraram as falhas de armazenamento as mais críticas. Do ponto de vista dos representantes comerciais, um sistema simples de armazenamento não deve exceder ... alguns segundos por ano!

Em outras palavras, se o aplicativo cliente do banco não responder por 100 segundos, isso provavelmente não causará consequências catastróficas. Mas se o mesmo número de sistemas de armazenamento não funcionar, é provável que haja uma paralisação nos negócios e perdas financeiras significativas.



O gráfico acima mostra o custo de uma hora de trabalho para os dez maiores bancos (dados da Forbes para 2017). Concorde que, se sua empresa está se aproximando do tamanho dos bancos chineses, justificar a necessidade de comprar armazenamento por vários milhões de dólares não será tão difícil. O inverso também é verdadeiro: se uma empresa não sofrer perdas significativas durante um período de inatividade, é improvável que você compre sistemas de armazenamento de alta tecnologia. De qualquer forma, é importante ter uma idéia do tamanho que um buraco ameaça formar na sua carteira, enquanto o administrador do sistema está lidando com um sistema de armazenamento de dados que se recusou a funcionar.




Segundo Failover


Na solução A na ilustração acima, você pode reconhecer nosso sistema Dorado V3 da geração anterior. Quatro de seus controladores trabalham em pares e apenas dois controladores contêm cópias do cache. Controladores dentro de um par podem redistribuir a carga. Ao mesmo tempo, como você vê, não existem "fábricas" de front-end e back-end; portanto, cada uma das prateleiras com unidades é conectada a um par de controladores específico.

O diagrama da Solução B mostra a solução atualmente disponível no mercado por outro fornecedor (você descobriu?). Já existem fábricas de front-end e back-end e os inversores são conectados diretamente a quatro controladores. É verdade que, no trabalho de algoritmos do sistema interno, existem nuances que não são óbvias em uma primeira aproximação.

À direita está nossa arquitetura atual de armazenamento Dorado V6 com todos os seus elementos internos. Considere como esses sistemas sobrevivem a uma situação típica - a falha de um controlador.

Nos sistemas clássicos, que incluem o Dorado V3, o período necessário para redistribuir a carga em caso de falha chega a quatro segundos. Neste momento, a E / S para completamente. Na solução B, de nossos colegas, apesar de uma arquitetura mais moderna, o tempo de inatividade durante uma falha é ainda maior - seis segundos.

O armazenamento Dorado V6 restaura sua operação apenas um segundo após uma falha. Este resultado é alcançado devido ao ambiente RDMA interno homogêneo, permitindo que o controlador acesse a memória "estrangeira". A segunda circunstância importante é a presença de uma fábrica de front-end, devido à qual o caminho para o host não muda. A porta permanece a mesma e a carga é simplesmente enviada aos controladores que podem ser reparados pelos drivers de várias passagens.

A falha do segundo controlador no Dorado V6 é solucionada em um segundo, de acordo com o mesmo esquema. O Dorado V3 leva cerca de seis segundos, enquanto a solução de outro fornecedor leva nove. Para muitos DBMSs, esses intervalos não podem mais ser considerados aceitáveis, pois durante esse período o sistema entra no modo de espera e para de funcionar. Essa é a primeira coisa que diz respeito a um DBMS, composto por várias seções.

A falha do terceiro Solution A controller não é capaz de sobreviver. Apenas devido ao fato de o acesso a parte dos discos de dados ser perdido. Por sua vez, a Solução B em tal situação restaura a operabilidade, o que requer, como no caso anterior, nove segundos.

O que o Dorado V6 tem? Um segundo.



O que pode ser feito em um segundo


Quase nada, mas não precisamos disso. Mais uma vez, na classe high-end Dorado V6, a fábrica de front-end é desatada da fábrica de controladores. Isso significa que não há portas codificadas que pertencem a um controlador específico. A reconstrução de failover não implica encontrar caminhos alternativos ou reinicializar a multipassagem. O sistema continua a funcionar como funcionou.



Resistência a Falhas Múltiplas


Os modelos antigos do Dorado V6 sem problemas sobrevivem à falha simultânea de dois (!) Controladores de qualquer "mecanismo". Isso é possível porque a solução agora armazena três cópias do cache. Portanto, mesmo com uma falha dupla, sempre haverá uma cópia completa.

A falha simultânea de todos os quatro controladores em um dos "mecanismos" também não causará conseqüências fatais, pois as três cópias do cache a cada momento são distribuídas entre os "mecanismos". A observância dessa lógica de trabalho é monitorada pelo próprio sistema.

Finalmente, um cenário muito improvável é a falha seqüencial de sete dos oito controladores. Além disso, o intervalo mínimo aceitável para manter a operacionalidade entre falhas individuais é de 15 minutos. Durante esse período, o sistema de armazenamento consegue executar as operações necessárias para a migração do cache.

O último controlador sobrevivente fornecerá a operação de armazenamento de dados e manterá o cache por cinco dias (o valor padrão, que é fácil de alterar nas configurações). Depois disso, o cache será desativado, mas o armazenamento continuará.



Atualizações não perturbadoras


O novo sistema operacional Dorado V6 permite atualizar o armazenamento do sistema de armazenamento sem reiniciar os controladores.

O sistema operacional, como no caso de soluções anteriores, é baseado no Linux, no entanto, muitos processos operacionais são transferidos do kernel para o modo de usuário. A maioria das funções, como os responsáveis ​​pela desduplicação e compactação, agora são daemons regulares em execução em segundo plano. Devido a isso, para atualizar módulos individuais, não há necessidade de alterar todo o sistema operacional. Suponha que você adicione suporte a um novo protocolo, é necessário desligar o módulo de software correspondente e iniciar um novo.

É claro que os problemas de atualização de todo o sistema ainda permanecem, afinal, pode haver elementos no kernel que precisam ser atualizados. Mas tal, de acordo com nossas observações, menos de 6% do total. Isso permite que você reinicie os controladores dezenas de vezes menos que antes.



Soluções catastróficas e HA (HA / DR)


O Dorado V6 "pronto para uso" está pronto para integração em soluções de distribuição geográfica, clusters em nível urbano (metrô) e data centers "triplos".

À esquerda na ilustração acima, há um aglomerado de metrô já familiar a muitos. Dois sistemas de armazenamento operam no modo ativo / ativo a uma distância de até 100 km um do outro. Uma infraestrutura semelhante com um ou mais servidores de quorum pode ser suportada por soluções de diferentes empresas, incluindo nosso sistema operacional em nuvem FusionSphere. De particular importância em tais projetos são as características do canal entre os sites, todas as outras tarefas em nosso caso são assumidas pela função HyperMetro, que está disponível, novamente, fora da caixa. A integração com Fibre Channel e a integração com iSCSI em redes IP é possível se houver necessidade. Não há mais a necessidade de uma óptica “escura” dedicada, pois o sistema é capaz de se comunicar através dos canais existentes.

Ao criar esses sistemas, o único requisito de hardware para armazenamento é a alocação de portas para replicação. Basta adquirir uma licença, executar servidores de quorum - físicos ou virtuais - e fornecer conectividade IP aos controladores (10 Mbps, 50 ms).

Essa arquitetura é fácil de transferir para um sistema com três data centers (veja o lado direito da ilustração). Por exemplo, quando dois datacenters operam no modo cluster de metrô, e o terceiro site, localizado a uma distância de mais de 100 km, usa replicação assíncrona.

O sistema suporta tecnologicamente vários cenários de negócios que serão implementados no caso de um excesso em larga escala.



Sobrevivência do Metro Cluster com várias falhas


As seções acima e abaixo também mostram o cluster clássico do metro, composto por dois sistemas de armazenamento e um servidor de quorum. Como você pode ver, em seis dos nove cenários possíveis de várias falhas, nossa infraestrutura permanecerá operacional.

Por exemplo, no segundo cenário, se o servidor de quorum falhar e ocorrer a sincronização entre sites, o sistema permanecerá produtivo, pois o segundo site para de funcionar. Um comportamento semelhante já está incorporado nos algoritmos internos.

Mesmo após três falhas, o acesso às informações pode ser mantido se o intervalo entre elas for de pelo menos 15 segundos.



Trunfo habitual da manga


Lembre-se de que a Huawei produz não apenas sistemas de armazenamento, mas também uma gama completa de equipamentos de rede. Qualquer que seja o provedor de armazenamento que você escolher, se uma rede WDM for usada entre os sites, em 90% dos casos ela será criada com as soluções da nossa empresa. Surge uma questão lógica: por que montar um zoológico de sistemas quando todo o hardware garantido compatível entre si pode ser obtido de um fornecedor?



Para a questão do desempenho


Provavelmente, ninguém precisa estar convencido de que a transição para o armazenamento All-Flash pode reduzir significativamente os custos de manutenção da infraestrutura, pois todas as operações de rotina são realizadas muitas vezes mais rapidamente. Isso é evidenciado por todos os fornecedores desses equipamentos. Enquanto isso, muitos fornecedores começam a se dissolver quando se trata de um declínio no desempenho quando você ativa vários modos de armazenamento.

Em nossa indústria, a emissão de sistemas de armazenamento para operação de teste por um a dois dias é amplamente praticada. O provedor executa um teste de 20 minutos em um sistema vazio, recebendo indicadores de desempenho baseados em espaço. E em operação real, "ancinhos subaquáticos" saem rapidamente. Após um dia, os belos valores de IOPS são reduzidos pela metade ou três e, se o armazenamento for preenchido em 80%, eles serão ainda menores. Quando o RAID 5 está ativado, em vez do RAID 10, outros 10 a 15% são perdidos e, no modo cluster cluster, o desempenho é reduzido pela metade.

Todas as opções acima não são sobre o Dorado V6. Nossos clientes têm a oportunidade de executar um teste de desempenho no fim de semana ou pelo menos à noite. A coleta de lixo se manifesta e também fica claro como a ativação de várias opções - como instantâneos e replicação - afeta a quantidade de IOPS alcançada.

No Dorado V6, os instantâneos e o RAID com paridade praticamente não têm efeito no desempenho (3-5% em vez de 10-15%). A coleta de lixo (preenchimento de células da unidade com zeros), compactação e desduplicação em sistemas de armazenamento com 80% de capacidade sempre afetarão a velocidade geral do processamento de solicitações. Mas é o Dorado V6 que é interessante, não importa qual combinação de funções e mecanismos de proteção você ativa, o desempenho total do sistema de armazenamento não cairá abaixo de 80% do valor obtido sem carga.



Balanceamento de carga


O alto desempenho Dorado V6 é alcançado através do balanceamento em todas as etapas, a saber:

  • multipassagem;
  • uso de várias conexões de um host;
  • a presença de uma fábrica de front-end;
  • paralelizando a operação de controladores de armazenamento;
  • balanceamento de carga em todas as unidades no RAID 2.0+.

Em princípio, esta é uma prática comum. Atualmente, poucas pessoas mantêm todos os dados em um LUN: todo mundo está tentando ter oito, até quarenta ou mais. Essa é a abordagem óbvia e correta que compartilhamos. Porém, se sua tarefa exigir apenas um LUN, que é mais fácil de manter, nossas soluções de arquitetura podem obter 80% do desempenho disponível ao usar vários LUNs.



Planejamento dinâmico de carregamento do processador


A distribuição de carga nos processadores ao usar um LUN é implementada da seguinte maneira: as tarefas no nível do LUN são divididas em pequenos "shards" separados, cada um dos quais é rigidamente atribuído a um controlador específico no "mecanismo". Isso é feito para que o sistema não perca desempenho ao "saltar" com esse dado em diferentes controladores.

Outro mecanismo para manter o alto desempenho é o horário dinâmico, no qual os núcleos do processador podem ser alocados para diferentes conjuntos de tarefas. Por exemplo, se agora o sistema estiver inativo no nível de desduplicação e compactação, alguns dos núcleos poderão ser incluídos no processo de manutenção de E / S. Ou vice-versa. Tudo isso é feito de forma automática e transparente ao usuário.

Os dados sobre o carregamento atual de cada um dos núcleos do Dorado V6 não são exibidos na interface gráfica, mas através da linha de comando você pode acessar o SO do controlador e usar o comando superior do Linux habitual .



Suporte para NVMe e RoCE


Como já mencionado, no momento o Dorado V6 suporta totalmente o NVMe por Fibre Channel imediatamente e não requer nenhuma licença. Suporte no meio do ano para NVMe over Ethernet. Para seu uso completo, você precisará de suporte Ethernet com acesso direto à memória (DMA) versão v2.0, tanto na parte do próprio sistema de armazenamento quanto na parte dos comutadores e adaptadores de rede. Por exemplo, como Mellanox ConnectX-4 ou ConnectX-5. Você pode usar placas de rede fabricadas com base em nossos microcircuitos. O suporte ao RoCE também deve ser implementado no nível do sistema operacional.

Em geral, consideramos o Dorado V6 um sistema orientado a NVMe. Apesar do suporte existente para Fibre Channel e iSCSI, está planejado mudar para Ethernet de alta velocidade com RDMA no futuro.




Pitada de marketing


Devido ao fato de o sistema Dorado V6 ser altamente resistente a falhas, dimensionar bem, suportar várias tecnologias de migração etc., o efeito econômico de sua aquisição se manifesta com o início da operação intensiva dos sistemas de armazenamento. Continuaremos a tentar tornar a propriedade do sistema o mais lucrativa possível, mesmo que não seja impressionante no primeiro estágio.

Em particular, criamos o programa FLASH EVER relacionado à extensão do ciclo de vida do armazenamento e projetamos para descarregar o cliente o máximo possível durante as atualizações.



Este programa inclui várias medidas:

  • ( Dorado V6 hi-end);
  • ( Dorado );
  • ( Dorado).



Resta notar que a difícil situação no mundo teve pouco efeito sobre as perspectivas comerciais do novo sistema. Apesar do fato de o lançamento oficial do Dorado V6 ter ocorrido apenas em janeiro, vemos uma demanda significativa por ele na China, bem como um grande interesse por parte de parceiros russos e internacionais do setor financeiro e de agências governamentais.

Entre outras coisas, em conexão com a pandemia, não importa quanto tempo durem, a questão de fornecer aos funcionários remotos desktops virtuais é especialmente aguda. Nesse processo, o Dorado V6 também pode remover muitas perguntas. Para fazer isso, estamos fazendo todos os esforços necessários, incluindo praticamente concordando em incluir o novo sistema na lista de compatibilidade da VMware.

***


A propósito, não se esqueça dos nossos muitos seminários on-line, realizados não apenas no segmento de língua russa, mas também em nível global. A lista de seminários on-line para abril está disponível aqui .

All Articles