Bancos de dados na plataforma IIoT: como o Mail.ru Cloud Solutions funciona com petabytes de dados de vários dispositivos

• sobre nossos requisitos de banco de dados, solução universal e teorema da CAP;
• se o banco de dados + servidor de aplicativos em uma abordagem é uma bala de prata;
• sobre a evolução da plataforma e os bancos de dados usados ​​nela;
• , Tarantool’ .

Mail.ru IoT Platform

Protótipo do Tarantool: como tudo começou

Nossos objetivos no desenvolvimento de uma plataforma IoT

1. Conecte centenas de milhares de dispositivos simultaneamente.
2. Receba milhões de eventos por segundo.
3. Processamento de fluxo no modo quase em tempo real.
4. Armazenamento de dados brutos por vários anos.
5. Ferramentas para análise de streaming e análise histórica.
6. Suporte à implantação em vários datacenters para recuperação máxima de desastres.

Prós e contras do protótipo da plataforma

• Tarantool, usado como banco de dados + servidor de aplicativos (Application Server);
• todos os dados são armazenados na memória do Tarantool;
• um aplicativo em Lua no mesmo Tarantool, que executa as funções de recebimento de dados, processamento e chamada de scripts do usuário nos dados recebidos.

1. O código e os dados estão em um único local, o que permite operar os dados diretamente na memória do aplicativo e remove os custos indiretos das visitas à rede típicas dos aplicativos tradicionais.
2. O Tarantool usa o JIT (Just in Time Compiler) para Lua, que em tempo de compilação compila o código Lua no código da máquina, o que permite que scripts simples da Lua sejam executados a uma velocidade comparável ao código C (40.000 RPS de um núcleo - e esse não é o limite !).
3. O Tarantool é baseado em multitarefa cooperativa, ou seja, cada chamada para o procedimento armazenado é iniciada em sua própria fibra, um análogo da corotina, que proporciona um aumento ainda maior no desempenho em tarefas com operações de E / S, por exemplo, visitas à rede.
4. Uso eficiente de recursos - poucas ferramentas podem lidar com 40.000 solicitações por segundo a partir de um único núcleo de CPU.

1. Precisamos armazenar dados brutos dos dispositivos por vários anos, mas não temos centenas de petabytes de memória para o Tarantool.
2. Uma consequência direta da primeira vantagem: todo o código da nossa plataforma é armazenado nos procedimentos no banco de dados, o que significa que qualquer atualização na base de código da plataforma é uma atualização do banco de dados, o que é muito doloroso.
3. , . , Tarantool 24-32 (Tarantool ) . — Tarantool, .
4. . - , Tarantool Lua , - , LuaJIT .

As principais dores do protótipo que queríamos nos livrar

1. Afaste-se do conceito de banco de dados + serviço de aplicativo. Queríamos atualizar o código do aplicativo, independentemente do armazenamento de dados.
2. Simplifique o dimensionamento dinâmico sob carga. Eu queria obter uma escala horizontal independente e fácil de tantas funções quanto possível.

Requisitos básicos de banco de dados para a plataforma IoT

1. ACID- — , .
2. — .
3. — , near real-time.
4. — - .
5. — , .
6. — ( !), .
7. — , ( !).
8. SQL — .

CAP-

1. Consistência (consistência dos dados) - em todos os nós de computação em um determinado momento, os dados não se contradizem.
2. Disponibilidade - qualquer solicitação para um sistema distribuído termina com uma resposta correta, mas sem garantia de que as respostas de todos os nós no sistema correspondam.
3. Tolerância de partição - mesmo se não houver conexão entre nós, eles continuam a funcionar independentemente um do outro.

1. As transações de ACID e consistência estrita (ou pelo menos não consistência eventual) são C.
2. A escala horizontal para escrita e leitura, além de alta disponibilidade, é A (multimestre).
3. A tolerância a falhas é P; quando um data center cai, a plataforma não deve morrer.

Escolhendo um banco de dados para os dados com os quais a plataforma IoT trabalha

1. Meta - informação é um modelo do mundo, dispositivos, configurações, regras, quase todos os dados, exceto aqueles que transmitem dispositivos finais.
2. Dados brutos dos dispositivos - leituras de sensores, telemetria e informações de serviço dos dispositivos. De fato, são séries temporais, em que cada mensagem individual contém um valor e um carimbo de data / hora.

Escolhendo um banco de dados para metadados

1. Suporte para árvores com largura e profundidade arbitrárias.
2. Modificação de elementos da árvore em transações ACID.
3. Alto desempenho ao atravessar uma árvore.

1. Para garantir a consistência entre dois bancos de dados, você precisa adicionar um coordenador de transações externas.
2. Esse design é difícil de manter e não é muito confiável.
3. Na saída, temos dois bancos de dados em vez de um, enquanto o banco de dados gráfico é necessário apenas para suportar funcionalidades limitadas.

Uma solução possível, mas não muito boa, com dois bancos de dados

• Espaço - um análogo das tabelas no banco de dados para armazenar dados.
• Transações ACID completas.
• A replicação é assíncrona usando logs WAL.
• Uma ferramenta de sharding que suporta compartilhamento automático de novo.
• Superfast LuaJIT para procedimentos armazenados.
• Grande biblioteca padrão.
• Gerenciador de pacotes LuaRocks com ainda mais pacotes.

• Espaço para armazenamento de dados.
• Transações ACID - estavam disponíveis.
• Replicação assíncrona - estava disponível.
• Relações - feitas em procedimentos armazenados.
• Árvores - também feitas em procedimentos armazenados.

Escolhendo um banco de dados para dados de dispositivos

1. Séries temporais - os dados dos sensores são séries temporais, eu queria obter uma base especializada.
2. Código aberto - as vantagens do código aberto não precisam de comentários.
3. Um cluster livre é um flagelo comum entre bancos de dados novos.
4. Boa compactação - dada a quantidade de dados e, em geral, sua uniformidade, eu queria compactar com eficiência os dados armazenados.
5. Operação bem-sucedida - queríamos começar em um banco de dados que alguém já esteja explorando ativamente próximo de nossas cargas, a fim de minimizar os riscos.

Problemas de banco de dados para esses dispositivos e suas soluções

1. Persistência - é (WAL-logs + snapshots).
2. Desempenho - existem todos os dados na memória.
3. Dimensionamento - há replicação + sharding.
4. Alta disponibilidade - existe.
5. Ferramentas de análise de séries temporais (agrupamento, agregação etc.) - feitas em procedimentos armazenados.
6. TTL - realizado em procedimentos armazenados com uma fibra de fundo (corotina).

Novo tipo de dados - estado e seu armazenamento

1. Esta é a maneira mais popular de usar Tarantool.
2. Escala horizontal - há replicação assíncrona + sharding.
3. Consistência no nível do documento - é.

Como escolher um banco de dados para a plataforma IoT

1. Um banco de dados universal não existe.
2. Cada tipo de dado possui seu próprio banco de dados, mais adequado para ele.
3. Às vezes, o banco de dados que você precisa pode não estar disponível no mercado.
4. O Tarantool é adequado como base para um banco de dados especializado.

1. Qual banco de dados escolher para o projeto, para não escolher novamente .
2. More than Ceph: bloqueie o armazenamento na nuvem MCS .