Datenbanken auf der IIoT-Plattform: Funktionsweise von Mail.ru Cloud Solutions mit Petabyte an Daten von mehreren Geräten

• über unsere Datenbankanforderungen, die universelle Lösung und den CAP-Satz;
• ob die Datenbank + der Anwendungsserver in einem Ansatz eine Silberkugel ist;
• über die Entwicklung der Plattform und der darin verwendeten Datenbanken;
• , Tarantool’ .

Mail.ru IoT Platform

Tarantool-Prototyp: Wie alles begann

Unsere Ziele bei der Entwicklung einer IoT-Plattform

1. Schließen Sie Hunderttausende von Geräten gleichzeitig an.
2. Erhalten Sie Millionen von Ereignissen pro Sekunde.
3. Stream-Verarbeitung im Echtzeitmodus.
4. Speicherung von Rohdaten über mehrere Jahre.
5. Tools für Streaming-Analysen und historische Analysen.
6. Bereitstellungsunterstützung in mehreren Rechenzentren für maximale Notfallwiederherstellung.

Vor- und Nachteile des Plattformprototyps

• Tarantool, das als Datenbank + Anwendungsserver (Anwendungsserver) verwendet wird;
• Alle Daten werden im Tarantool-Speicher gespeichert.
• Eine Anwendung auf Lua im selben Tarantool, die die Funktionen zum Empfangen, Verarbeiten und Aufrufen von Benutzerskripten für eingehende Daten ausführt.

1. Der Code und die Daten befinden sich an einem Ort, sodass Sie die Daten direkt im Speicher der Anwendung verarbeiten können und die für herkömmliche Anwendungen typischen Overhead-Kosten für Netzwerkbesuche entfallen.
2. Tarantool verwendet JIT (Just in Time Compiler) für Lua, das zur Kompilierungszeit Lua-Code in Maschinencode kompiliert, wodurch einfache Lua-Skripte mit einer Geschwindigkeit ausgeführt werden können, die mit C-Code vergleichbar ist (40.000 RPS von einem Kern - und dies ist nicht die Grenze !).
3. Tarantool basiert auf kooperativem Multitasking, dh jeder Aufruf der gespeicherten Prozedur wird in einer eigenen Faser gestartet, einem Analogon von Coroutine, das die Leistung bei Aufgaben mit E / A-Vorgängen, z. B. Netzwerkbesuchen, noch weiter steigert.
4. Effiziente Ressourcennutzung - Nur wenige Tools können 40.000 Anforderungen pro Sekunde von einem einzelnen CPU-Kern aus verarbeiten.

1. Wir müssen Rohdaten von Geräten mehrere Jahre lang speichern, aber wir haben nicht Hunderte von Petabyte Speicher für Tarantool.
2. Eine direkte Folge des ersten Plus: Der gesamte Code unserer Plattform sind gespeicherte Prozeduren in der Datenbank. Dies bedeutet, dass jede Aktualisierung der Codebasis der Plattform eine Aktualisierung der Datenbank ist, was sehr schmerzhaft ist.
3. , . , Tarantool 24-32 (Tarantool ) . — Tarantool, .
4. . - , Tarantool Lua , - , LuaJIT .

Die Hauptschmerzen des Prototyps, die wir loswerden wollten

1. Verlassen Sie das Konzept des Datenbank- und Anwendungsdienstes. Wir wollten den Anwendungscode unabhängig vom Datenspeicher aktualisieren.
2. Vereinfachen Sie die dynamische Skalierung unter Last. Ich wollte eine einfache unabhängige horizontale Skalierung von so vielen Funktionen wie möglich erhalten.

Grundlegende Datenbankanforderungen für die IoT-Plattform

1. ACID- — , .
2. — .
3. — , near real-time.
4. — - .
5. — , .
6. — ( !), .
7. — , ( !).
8. SQL — .

CAP-

1. Konsistenz (Datenkonsistenz) - In allen Rechenknoten zu einem bestimmten Zeitpunkt widersprechen sich die Daten nicht.
2. Verfügbarkeit - Jede Anfrage an ein verteiltes System endet mit einer korrekten Antwort, jedoch ohne Garantie, dass die Antworten aller Knoten im System übereinstimmen.
3. Partitionstoleranz - Auch wenn keine Verbindung zwischen Knoten besteht, arbeiten diese weiterhin unabhängig voneinander.

1. ACID-Transaktionen und strenge Konsistenz (oder zumindest keine eventuelle Konsistenz) sind C.
2. Die horizontale Skalierung zum Schreiben und Lesen sowie die hohe Verfügbarkeit beträgt A (Multi-Master).
3. Die Fehlertoleranz ist P, wenn ein Rechenzentrum ausfällt, sollte die Plattform nicht sterben.

Auswählen einer Datenbank für die Daten, mit denen die IoT-Plattform arbeitet

1. Metainformationen sind ein Modell der Welt, Geräte, Einstellungen, Regeln, fast alle Daten, außer denen, die Endgeräte übertragen.
2. Rohdaten von Geräten - Sensorwerte, Telemetrie und Serviceinformationen von Geräten. Tatsächlich handelt es sich hierbei um Zeitreihen, in denen jede einzelne Nachricht einen Wert und einen Zeitstempel enthält.

Auswählen einer Datenbank für Metadaten

1. Unterstützung für Bäume mit beliebiger Breite und Tiefe.
2. Änderung von Baumelementen in ACID-Transaktionen.
3. Hohe Leistung beim Überqueren eines Baumes.

1. Um die Konsistenz zwischen zwei Datenbanken sicherzustellen, müssen Sie einen externen Transaktionskoordinator hinzufügen.
2. Dieses Design ist schwer zu warten und nicht sehr zuverlässig.
3. Bei der Ausgabe erhalten wir zwei Datenbanken anstelle von einer, während die Diagrammdatenbank nur zur Unterstützung eingeschränkter Funktionen benötigt wird.

Eine mögliche, aber nicht sehr gute Lösung mit zwei Datenbanken

• Speicherplatz - ein Analogon der Tabellen in der Datenbank zum Speichern von Daten.
• Vollwertige ACID-Transaktionen.
• Die Replikation erfolgt asynchron mithilfe von WAL-Protokollen.
• Ein Sharding-Tool, das das automatische Resharding unterstützt.
• Superschnelles LuaJIT für gespeicherte Prozeduren.
• Große Standardbibliothek.
• LuaRocks Paketmanager mit noch mehr Paketen.

• Platz für Datenspeicherung.
• ACID-Transaktionen - waren verfügbar.
• Asynchrone Replikation - war verfügbar.
• Beziehungen - für gespeicherte Prozeduren.
• Bäume - auch auf gespeicherten Prozeduren erstellt.

Auswählen einer Datenbank für Daten von Geräten

1. Zeitreihen - Daten von Sensoren sind Zeitreihen, ich wollte eine spezialisierte Basis bekommen.
2. Open Source - Die Vorteile von Open Source Code erfordern keine Kommentare.
3. Ein freier Cluster ist eine häufige Plage unter neuen Datenbanken.
4. Gute Komprimierung - Angesichts der Datenmenge und im Allgemeinen ihrer Einheitlichkeit wollte ich die gespeicherten Daten effektiv komprimieren.
5. Erfolgreicher Betrieb - Wir wollten mit einer Datenbank beginnen, die bereits jemand in der Nähe unserer Lasten aktiv nutzt, um Risiken zu minimieren.

Datenbankprobleme für diese Geräte und ihre Lösung

1. Persistenz - ist (WAL-Protokolle + Schnappschüsse).
2. Leistung - es gibt alle Daten im Speicher.
3. Skalierung - es gibt Replikation + Sharding.
4. Hohe Verfügbarkeit - gibt es.
5. Tools zur Analyse von Zeitreihen (Gruppierung, Aggregation usw.), die für gespeicherte Prozeduren erstellt wurden.
6. TTL - erstellt auf gespeicherten Prozeduren mit einer Hintergrundfaser (Coroutine).

Neuer Datentyp - Status und dessen Speicherung

1. Dies ist die beliebteste Art, Tarantool zu verwenden.
2. Horizontale Skalierung - Es gibt asynchrone Replikation + Sharding.
3. Konsistenz auf Dokumentebene - ist.

So wählen Sie eine Datenbank für die IoT-Plattform aus

1. Eine universelle Datenbank existiert nicht.
2. Jeder Datentyp verfügt über eine eigene Datenbank, die für ihn am besten geeignet ist.
3. Manchmal ist die von Ihnen benötigte Datenbank möglicherweise nicht auf dem Markt verfügbar.
4. Tarantool eignet sich als Basis für eine spezialisierte Datenbank.

1. Welche Datenbank für das Projekt ausgewählt werden soll, um nicht erneut auszuwählen .
2. Mehr als Ceph: Blockspeicher in der MCS-Cloud .