Was ist Azure Stack HCI und wie funktioniert es?

Hallo Habr! Heute möchten wir darüber sprechen, worum es bei der Azure Stack HCI-Plattform geht. Einschließlich dessen, was es im Allgemeinen ist, aus welcher Hardware zusammengesetzt ist, welche Software enthält, wie es funktioniert und das ist alles. Jetzt beitreten!

Dies ist ein Gastbeitrag von den Jungs von AltaStor. AltaStor ist ein Systemintegrator, der sich auf Gebäudelösungen für eine zuverlässige Datenspeicherung spezialisiert hat. Dank des gesammelten Fachwissens beim Aufbau von Failover-Clustern und HCI wird für jeden Kunden eine individuelle Lösung ausgewählt, die für seine Aufgaben am besten geeignet ist.

Was ist die Azure Stack HCI?

Dies ist eine hyperkonvergente Lösung, die mehrere Produkte kombiniert:

• Hardware von einem Microsoft Certified OEM Partner.
  
• Windows Server 2019 Datacenter-Betriebssystem.
  
• Windows Admin Center-Software.
  
• Microsoft Azure Services, falls erforderlich.
  

Diese Lösung gibt es schon lange auf dem Markt, und einige unserer Kunden haben sie lange und erfolgreich eingesetzt. Sie veröffentlichen jedoch nicht die Leistungstestergebnisse ihrer Installation. Wir haben uns entschlossen, diese Lücke zu schließen und anhand eines konkreten Beispiels über unsere Erfahrungen mit Azure Stack HCI zu sprechen. Klicken Sie hier, um
 
Dokumentation und allgemeine Informationen zu Azure Stack HCI zu erhalten .
 

Standaufbau

 

 

Ausrüstung

Für die Erstellung einer Lösung ist eine von Microsoft empfohlene Hardwareplattform erforderlich. Die führenden Hersteller von Serverhardware - HPE, Dell EMC, Fujitsu, Hitachi, Lenovo usw. - haben ihre Konfigurationen entwickelt, auf Kompatibilität getestet und für Azure Stack HCI zertifiziert.
 
Eine vollständige Liste der kompatiblen Geräte finden Sie unter .
 
Abhängig von den verwendeten Laufwerkstypen variieren die Plattformkomponenten.
 
Wir bevorzugen es, solche Lösungen auf der Basis von Fujitsu-Servern mit dem vorinstallierten Windows Server 2019 Datacenter-Betriebssystem zu erstellen. Dieser Hersteller unterstützt nach dem Verkauf den gesamten Software- und Hardwarekomplex als Komplettlösung und nicht nur die Hardware. Dies ist sowohl für uns als Partner als auch für den Endkunden wichtig.
 
Derzeit verfügt Fujitsu über fünf Konfigurationen, die für verschiedene Laufwerkstypen, Servermodelle und die Anzahl der Knoten zertifiziert sind. Die maximale Anzahl von Knoten für Azure Stack HCI beträgt 16, die minimale Anzahl 2, einige Konfigurationen sind jedoch auf 4 beschränkt.
 
Alle kompatiblen Fujitsu-Konfigurationen können hier angezeigt werden .
 
Für die Installation haben wir die effizienteste Konfiguration aus der derzeit zertifizierten Konfiguration ausgewählt: Fujitsu Primergy mit SSD-Laufwerken zum Speichern von Daten und ultraschnelle Intel Optane-Speichermodule, die über die NVMe-Schnittstelle als Systemcache verbunden sind. Wir erwarten ein softwaredefiniertes All-Flash-Array mit einer Leistung, die mit klassischem Speicher mit SSD-Laufwerken und NVMe-Cache vergleichbar ist.
 
All-Flash-Speichersysteme von Branchenführern weisen ähnliche Medientypkonfigurationen auf. Wir wissen, welche IOPS- und Latenzmetriken in der Praxis von ähnlichen Systemen abgerufen werden können, und freuen uns auf eine ähnliche Leistung von Azure Stack HCI basierend auf der ausgewählten Fujitsu-Konfiguration.


 
Die Architektur dieser Fujitsu-Lösung wird in einem hier verfügbaren Dokument ausführlich beschrieben .
 
Wir empfehlen, dass Sie sich vor der Installation damit vertraut machen.
 

 
Das Dokument beschreibt die Einschränkungen der Architektur, typische Verbindungsschemata und viele andere Informationen, die in der Implementierungsphase nützlich sind.
 

Schalter

 
Die Lösung von Fujitsu verwendet einen eigenen PSWITCH-Ethernet-Switch. Für uns haben wir folgende Vorteile festgestellt: 
 

• Die Schalter dieser Serie sind sehr produktiv und kostengünstig.
  
• Die Switches sind recht einfach zu konfigurieren und verwenden die CISCO-ähnliche Schnittstelle. Die Ingenieure hatten während der Installation keine Schwierigkeiten.
  
• Es gibt keine proprietären Exzesse in der Verwaltung und kompetente Dokumentation ist verfügbar.
  

Fujitsu-Schaltgeräte gehören zu den Branchenführern in Japan. Es ist seit kurzem auf dem russischen Markt erhältlich, wird jedoch bereits regelmäßig in Projekten unserer Architekten und anderer Fujitsu-Partner verwendet. Derzeit ist eine begrenzte Anzahl von Modellen verfügbar. 
 
Weitere Informationen zu Fujitsu-Schaltern finden Sie auf der offiziellen Website .
 

Server

Innerhalb des Servers nehmen Intel Optane-Speicherkarten einen erheblichen Teil des Speicherplatzes ein. 
 



 
Intel legt großen Wert auf die Leistung bei hohem Wärmebedarf. Zum einen werden für maximale Kühlqualität große Heizkörper eingesetzt. Dies begrenzt andererseits den Kühlluftstrom innerhalb des gesamten Servers. 
 
Dies ist einer der wichtigsten Punkte, die bei der Zertifizierung der Konfiguration berücksichtigt werden. Es müssen alle möglichen Szenarien berücksichtigt werden, in denen die Server aufgrund unzureichender Kühlung das Optane-Modul überhitzen können oder umgekehrt.
 
Beim Umzug des Serverraums waren unsere Kunden mehr als einmal mit einer Situation konfrontiert, in der die Klimaanlage noch nicht in Betrieb genommen wurde. Aus diesem Grund haben wir uns entschlossen zu prüfen, wie anspruchsvoll diese Installation für das Kühlsystem ist, und die Lebensdauer der Plattform unter Last außerhalb des gekühlten Serverraums zu messen.  
 
Die Tests wurden bei Raumtemperatur durchgeführt, es traten jedoch keine thermischen Einschränkungen oder Leistungseinbußen oder das Auftreten von Fehlern aufgrund von Überhitzung auf. Wir haben aus eigener Erfahrung gesehen, dass die getesteten Server die deklarierte Arbeitskapazität bei einer Umgebungstemperatur von bis zu +45 Grad Celsius unterstützen. 
 
Hinweis.Dieses Experiment sollte nicht als Empfehlung verstanden werden, die Verwendung spezieller Serverräume mit hochwertiger Belüftung aufzugeben. Achten Sie bei der Auswahl eines Hardwarelösungsanbieters unbedingt auf das maximale Temperaturpaket.
 

Montage der Hardwareplattform

 
Vorderansicht:
 

 
Rückansicht:
 

 
Im Test wurde nur ein Schalter verwendet. Für die kommerzielle Nutzung empfehlen wir immer, Zugriffspfade mit mindestens zwei Switches zu reservieren. Laut unserer Statistik ist der häufigste Hardwarefehler in Clustern ein versehentlicher Kabelbruch oder ein unterbrochener Kontakt im Stecker. 
 
Fujitsu RX1330 wurde als Server mit Steuerungssoftware verwendet. Ihm wurden auch die Funktionen eines Schiedsrichters und eines Quorum-Servers zugewiesen.
 

Clusterbereitstellung

 
Die erste Phase bestand aus der physischen Installation von Hardwarekomponenten, dem Anschließen von Schnittstellenkabeln usw. Darauf folgte das Software-Setup als Das Betriebssystem ist bereits vorinstalliert. Wir haben Storage Space Direct auf jedem Server bereitgestellt und einen Cluster aus 2 Knoten und einem Arbiter erstellt.
 
Anschließend haben wir das Dienstprogramm Fujitsu Infrastructure Manager verwendet, eine Windows Admin Center- Erweiterung , die eng in die Fujitsu-Serverhardware integriert ist und alle Verwaltungstools von Azure enthält, z.

• Azure Site Recovery bietet DRaaS (High Availability and Disaster Recovery as a Service).
  
• Azure Monitor ist eine zentralisierte Site zur Überwachung des Betriebs von Anwendungen, Netzwerken und Infrastrukturen mit detaillierten AI-basierten Analysen.
  
• «-» Azure .
  
• Azure Backup , -.
  
• « Azure» Windows, Azure .
  
• Azure Azure VPN- « — ».
  
• « Azure» . 
  

Mit der Erweiterung können Sie eine Reihe von Aufgaben automatisieren, die auch direkt im Admin Center ausgeführt werden können.

Gesammelter Speicherpool, darin erstellte Volumes. Diese Volumes befinden sich anschließend in virtuellen Maschinen, für die wir Leistungstests durchgeführt haben. Sowohl Volumes als auch virtuelle Maschinen werden bequem von einem einzigen Fenster aus verwaltet.
 

 
Mit Fujitsu Infrastructure Manager können Sie auch viele Dinge für geplante Wartungsarbeiten und Mikrocode-Updates erledigen. Der Status aller Geräte wird übersichtlich angezeigt, vieles kann automatisiert werden.
 

 
Es gibt zwei Versionen des Dienstprogramms Fujitsu Infrastructure Manager - kostenpflichtig und kostenlos:
 

• Kostenlos. Es kann von der Website des Herstellers heruntergeladen werden und reicht für die Serververwaltung völlig aus.
  
• . Microsoft Azure HCI — Windows Server .
  

Für eine umfassende Primergy-Integration mit Microsoft Azure Stack HCI benötigen Sie ein Serververwaltungs-Plug-In von Windows Server, das nur in der kostenpflichtigen Version verfügbar ist. Daher ist das integrierte System PRIMEFLEX für Microsoft Azure Stack HCI von FUJITSU Teil davon. 
 
Je mehr Installationen Sie haben, desto wertvoller ist die Automatisierung, die das Dienstprogramm bietet.
Es gibt nur 2 Knoten in unserem Stand und wir könnten die ganze Arbeit manuell erledigen. Wenn Sie 4 oder mehr Knoten haben, reduziert die Software Ihren Installations- und Verwaltungsaufwand erheblich. Die Nebenkosten betragen weniger als 1% des Projekts, beschleunigen jedoch die Inbetriebnahme der Geräte erheblich.
 
Für das Windows Admin Center ist das Fujitsu Infrastructure Manager Orchestra ein Erweiterungspaket:
 

 
Der gleiche Screenshot zeigt die Zusammensetzung des Server-Festplattensubsystems: Zwei Optane-Module werden als Cache-Erweiterung und fünf SSD-Festplatten als Tier-1-Speicherpool verwendet.
 

Wichtige Punkte

Beim Erstellen einer Lösung müssen verschiedene Nuancen berücksichtigt werden: Es
 
gibt zwei Möglichkeiten, Microsoft Azure Stack HCI zu verwalten - über das Windows Admin Center oder den Fujitsu Infrastructure Manager. 
 
Das Admin Center hat auch seine Vorteile: Sie können es auf allem bereitstellen, sogar auf einem Laptop. Es besteht die Möglichkeit, über die Befehlszeile zu steuern. Damit kann der Administrator fast alles machen. 
 
Es gibt auch den Cluster Manager - ein unverzichtbares Werkzeug für Probleme mit dem Cluster. 
 
Bei der Bereitstellung von Witness (Quorum-Server) ist es wichtig, es zu Active Directory hinzuzufügen und seine Verfügbarkeit für alle Knoten zu überprüfen. Die Anforderungen für diese Aufgabe sind minimal und können auf jedem Basisserver platziert werden.

 
Aus Sicht von Windows Server gibt es drei Arten von Festplattengeräten: NVMe, SSD und HDD. Die Logik der Arbeit lautet wie folgt: NVMe-Geräte sind der Lese- / Schreibcache, SSD ist die Tier-1-Speicherebene; HDD - Tier-2-Speicherebene. Als Nächstes können Sie Richtlinien zum Verschieben von Daten zwischen Pools konfigurieren. NVDIMMs können auch als Cache verwendet werden.
 
Die Standardblockgröße für das Zerreißen beträgt 4 KB, kann jedoch je nach Art des Dateisystems in der virtuellen Maschine variieren. Dies wirkt sich anschließend auf die Leistung aus.
 
Wir verwenden NVMe-Module als Cache, daher ist die Geschwindigkeit beim Lesen und Schreiben von Daten sehr unterschiedlich - dies wird in Leistungstests deutlich.
 

• ( ), SSD (Tier-1, ).
  
• NVMe , , . .
  

Vor dem Erstellen eines Clusters müssen die Validierung und alle Tests im Failovercluster-Manager abgeschlossen sein. Der Bericht muss gespeichert werden, da es ohne ihn nicht möglich ist, einen Serviceabruf im Microsoft-Support zu eröffnen, falls dies jemals erforderlich sein sollte.
 
Wenn Sie einem vorhandenen Cluster neue Knoten hinzufügen, werden die Knoten automatisch zum Speicherpool hinzugefügt. Nach 15 Minuten wird der Cluster den Speicherpool automatisch neu erstellen, neu erstellen und ausgleichen. Dies kann die Leistung während der Wiederherstellung beeinträchtigen.
 

Leistungstests

Kommen wir nun zu den interessantesten Teillasttests.
 
Konfiguration testen:
 

• zwei in einem Cluster zusammengestellte Fujitsu PRIMERGY RX2540-Server;
  
• Auf jedem Server sind zwei Speichermodule der Intel Optane-Speicherklasse installiert, mit denen der Lese- / Schreibcache erweitert wird.
  
• SSD, ,
  
• erasure coding ( RAID-5).
  

Tatsächlich handelt es sich um ein softwaredefiniertes Speichersystem, auf dem Windows Server 2019 Azure Stack HCI ausgeführt wird.
 
Wir starten den ersten Test mit 12 virtuellen Maschinen, die auf beiden Knoten ausgeführt werden. Das Lese- / Schreiblastprofil beträgt 70:30, Blockgröße = 8 KB. Die Blockgröße wurde aufgrund der Tatsache ausgewählt, dass die meisten modernen Transaktionsdatenbanken und OLTP-Lasten genau eine solche Blockgröße und ungefähr das gleiche Lese- / Schreibverhältnis verwenden.
 

 
Die stationäre Clusterleistung beträgt 428.000 IOPS mit einer Verzögerung von 0,487 ms. Dies ist ein wirklich würdiges Ergebnis, das mit dem vergleichbar ist, was Sie mit einem speziellen All-Flash-Speichersystem vieler Hersteller erhalten können. 
 
Unabhängige Tests mit einem ähnlichen Lastprofil werden in der Ressource spcresults.org bereitgestellt - dies ist der SPC-1-Test. Der Unterschied zu unserer Konfiguration liegt nur in der Blockgröße - sie beträgt 4 KB.
 
Wenn wir die Methode zum Vergleichen der Ergebnisse erheblich vereinfachen, können wir sie in zwei IOPS-Indikatoren für All-Flash-Speichersysteme aufteilen und mit den Zahlen vergleichen, die wir zur gleichen Antwortzeit erhalten haben. Die Ergebnisse unseres Clusters aus zwei Servern mittlerer Ebene sind mit den meisten Speichersystemen vergleichbar. 

Natürlich ist ein solcher Vergleich nicht sehr richtig, weil In unserem Fall wirkt sich eine Erhöhung der Anzahl der Festplatten ganz anders auf die Leistung und Verzögerungen aus als bei einem speziellen Speichersystem. Aber selbst unter Berücksichtigung all dieser Annahmen kann gesagt werden, dass solche Leistungsdaten vor einigen Jahren nur auf einem externen Speichersystem mit mehreren Controllern eines durchschnittlichen oder sogar höheren Niveaus zu sehen waren. Dies ist heute mit einer hyperkonvergenten Lösung möglich.
 
Das Leistungsbild ändert sich erheblich, wenn Deduplizierung und Messungen mit der vorherigen Blockgröße = 8 KB aktiviert werden. Wenn Sie einfach die Deduplizierung für dasselbe Lastprofil aktivieren, beträgt die Leistung weniger als 300.000 IOPS. 

Wenn wir zwei Lastprofile mit einem 8-KB-Block ausführen, wobei ein Profil zu 100% gelesen und das andere zu 100% geschrieben wird, sind nachfolgend die besten Zahlen aufgeführt, die wir erhalten konnten:
 

 
Wir sehen hervorragende Leseergebnisse, insbesondere wenn wir eine Verzögerung von 12 μs berücksichtigen. Hier leistet Optane wirklich gute Arbeit als Lese-Cache mit proaktiven Algorithmen für die prädiktive Datenübertragung in den Cache. Ja, und der Speicherpool selbst auf der SSD zeigt ebenfalls sehr gute Lesezahlen.
 
Die Schreibgeschwindigkeit ist jedoch sehr unterschiedlich. Hier sind einige schwerwiegende Faktoren:

• Die Architektur der Lösung, wenn die Daten, die in den Cache eines Knotens fallen, über das Netzwerk in den Cache des zweiten Knotens kopiert werden.
  
• : — , Optane. .
  
  45%, , — , . .
  
• SSD SSD — 3D-NAND , 3D-NAND.
  

• OLTP- – 8k .  
  
• Die Deduplizierung kann jederzeit aktiviert werden, verringert jedoch die Leistung erheblich. Die Deduplizierungseffizienz in unseren Tests betrug 45% bei einem Leistungsabfall von mehr als 25%. 
  

Dies gibt Ihnen freie Wahl - entweder höhere Speicherleistung oder fast doppelt so viel Kapazität. Viel hängt auch vom Lastprofil und der Fähigkeit ab, die aufgezeichneten Daten zu komprimieren.

• Aufgrund der Architektur der Lösung erhöhen sequentielle Schreibvorgänge die Antwortzeit erheblich. 
  
• Es ist nicht umsonst, dass Microsoft von Ihnen verlangt, eine Lösung nur auf der Grundlage validierter Konfigurationen von OEM-Partnern zu erstellen. Auf diese Weise können Sie viele Probleme sowohl bei der Erstinstallation als auch bei weiteren Arbeiten vermeiden.
  
• Die Arbeit mit der Hardware von Fujitsu hinterließ wie immer nur einen positiven Eindruck. Dies ist eine sinnvolle Dokumentation und viele nützliche Ergänzungen von Infrastructure Manager - dieses Softwarepaket vereinfacht die Systemverwaltung erheblich. Dies ist besonders wichtig, wenn Sie die Anzahl der Knoten erhöhen.
  
• Die PRIMEFLEX-Lösung von Fujitsu enthält eine Reihe von Skripten, die den Bereitstellungsprozess beschleunigen. Sie erleichtern das Starten und Konfigurieren im Allgemeinen und die Fujitsu PRIMERGY-Server im Besonderen.
  

 
Für diejenigen, die nicht daran interessiert sind, die Lösung selbst zu optimieren, besteht die Möglichkeit, einen Vertrag über technische Lösungen mit Fujitsu abzuschließen. In diesem Fall werden die technischen Spezialisten des Anbieters alles schlüsselfertig bereitstellen und weiteren Support leisten.