Vor sechs Monaten begann ich bereits über die Aktualisierung der Huawei-Speicherlinie - Dorado V6 - zu sprechen. Tatsächlich habe ich es geschafft, sie vor der offiziellen Ankündigung kennenzulernen, und es ist logisch, dass ich zu diesem Zeitpunkt nicht die Gelegenheit hatte, sie mit meinen eigenen Händen zu berühren. In meinem Artikel „ Huawei Dorado V6: Sichuan Heat “ habe ich mich auf die älteren Dorado 8000- und 18000 V6-Modelle konzentriert, da sie aus architektonischer Sicht in diesem Moment vor allem für mich interessant waren. Schließlich hatte ich die Gelegenheit, das 5000V6-System in unserem Labor zu testen und mehr über die technische Seite dieser Systeme zu sprechen.Dies ist einerseits eine Überprüfung und Prüfung des 5000V6-Systems, andererseits ist es eine logische Fortsetzung des vorherigen Artikels, weil In den letzten sechs Monaten wurden weitere Details zu den verschiedenen Komponenten des Systems, der Arbeitslogik und der implementierten Funktionalität veröffentlicht.Aber kommen wir gleich zur Sache. Da dieses System vertrauter ist - ein System mit zwei Controllern - hat es einige der Vorteile seiner älteren Schwestern verloren.- Fehlen eines gemeinsamen Frontends und Backends.
- Außerdem sind in den Systemen 5000V6 und 6000V6 nur zwei Kunpeng 920-Prozessoren auf jedem der Controller und einer im 3000V6 installiert.
- Wenn für 5000V6 und 6000V6 dieselben Regale wie für 8000V6 und 18000V6 mit Kunpeng-Chips geliefert werden, die den Wiederherstellungsprozess beschleunigen sollen, und diese Regale über 100 GB RDMA verbunden sind, sind für das jüngere 3000V6-Modell nur SAS-Regale verfügbar.
- 5000V6 und 6000V6 sind für die Installation von 36 PALM-SSDs oder 25 x 2,5 "" normalen "SAS-SSDs (bei der Konfiguration des Systems bei der Bestellung ausgewählt) ausgelegt. Der jüngste 3000V6 unterstützt nur 25 SAS-SSDs.
- 3000V6 unterstützt die Installation von bis zu drei Hot-Swap-fähigen Schnittstellenkarten auf dem Controller, 5000V6 und 6000V6 unterstützen sechs Karten.
Wie im vorherigen Artikel gibt es eine Fußnote zum End-to-End-NVMe: Die Unterstützung von NVMe über RoCE v2 und NVMe über TCP / IP ist in naher Zukunft geplant.Auch architektonisch unterscheiden sich natürlich auch Dual-Controller-Systeme.OceanStor Dorado V6 verwendet eine Aktiv-Aktiv-Architektur mit den folgenden Technologien.- Lastausgleichsalgorithmus: Gleicht die von jedem Controller empfangenen Lese- und Schreibanforderungen aus.
- Globaler Cache: Ermöglicht LUNs, keine Eigentümer zu haben. Jeder Controller verarbeitet die empfangenen Lese- und Schreibanforderungen und sorgt für einen Lastausgleich zwischen den Controllern.
- RAID 2.0+: Verteilt Daten gleichmäßig auf alle Festplatten im Speicherpool und verteilt die Last auf der Festplatte.
RAID 2.0+
Wenn Daten nicht einheitlich auf einer SSD gespeichert werden, können einige stark belastete SSDs zu einem Systemengpass werden. OceanStor Dorado V6 verwendet RAID 2.0+, um Daten gleichmäßig auf alle LUNs auf jeder SSD zu verteilen und die Last zwischen den Laufwerken zu verteilen. OceanStor Dorado V6 implementiert RAID 2.0+ wie folgt:- Mehrere SSDs bilden einen Speicherpool
- Jede SSD ist in Blöcke fester Größe (normalerweise 4 MB pro Block) unterteilt, um die Verwaltung des logischen Speicherplatzes zu vereinfachen
- Chunks von verschiedenen SSDs bilden eine Chunk-Gruppe, die auf benutzerdefinierten RAID-Richtlinien basiert
- Die Blockgruppe ist in „Körner“ (normalerweise 8 KB) unterteilt, die die kleinste Einheit für Volumina darstellen
ROW Full-Stripe Write
Flash-Speicherchips auf SSDs können nur begrenzt gelöscht werden. Im herkömmlichen RAID-Umschreibemodus (Write-to-Place) werden die Hot-Daten auf der SSD kontinuierlich überschrieben und die Flash-Chips nutzen sich schnell ab. OceanStor Dorado V6 verwendet die ROW-Aufzeichnung (Full Redirectional Write) für neue und alte Daten. Er weist jedem Datensatz einen neuen Flash-Chip zu und gleicht die Häufigkeit aus, mit der alle Flash-Chips gelöscht werden. Dies reduziert die Prozessorlast auf dem Controller selbst und die Lese- / Schreiblast auf der SSD während des Schreibvorgangs erheblich und erhöht die Systemleistung auf verschiedenen RAID-Ebenen.End-to-End-E / A-Priorisierung
Um eine konsistente Latenz für bestimmte E / A-Typen zu gewährleisten, markieren OceanStor Dorado V6-Controller jeden E / A-Vorgang mit einer Priorität entsprechend seinem Typ. Auf diese Weise kann das System die CPU und andere Ressourcen planen und priorisieren. Dies bietet eine Garantie für die Latenz basierend auf den E / A-Prioritäten. Insbesondere nach dem Empfang mehrerer E / A-SSDs überprüfen Sie deren Prioritäten und verarbeiten hauptsächlich Vorgänge mit einer höheren Priorität.OceanStor Dorado V6 klassifiziert E / A-Vorgänge in die folgenden fünf Typen und priorisiert sie in absteigender Reihenfolge, um eine optimale interne und externe E / A-Reaktion zu gewährleisten:- Lese- / Schreibvorgänge
- erweiterte E / A-Funktionen
- rebild
- Cache leeren
- Müllabfuhr
OceanStor Dorado V6 priorisiert auf jedem Laufwerk nicht nur Eingabe- / Ausgabevorgänge, sondern ermöglicht auch Leseanforderungen mit hoher Priorität, um aktuelle Schreib- und Löschvorgänge zu unterbrechen. In diesem Fall wirkt sich die Verzögerung beim Lesen der Festplatte (wenn sich keine Daten im Cache befanden) direkt auf die Leseverzögerung des Hosts aus. In der Regel führt ein SSD-Flash-Laufwerk drei Vorgänge aus: Lesen, Schreiben und Löschen. Die Löschverzögerung beträgt 5 ms bis 15 ms, die Schreibverzögerung beträgt 2 ms bis 4 ms und die Leseverzögerung beträgt einige zehn Mikrosekunden bis 100 Mikrosekunden. Wenn der Flash-Chip eine Schreib- oder Löschoperation ausführt, muss die Leseoperation warten, bis die aktuelle Operation abgeschlossen ist, was zu einer signifikanten Erhöhung der Leseverzögerung führt.Smart Disk-Gehäuse
Wie ich in einem früheren Artikel geschrieben habe, sind die neuen Plattenregale mit einem eigenen Prozessor und RAM ausgestattet. Auf diese Weise können Sie Aufgaben wie die Wiederherstellung nach einem Festplattenfehler von Controllern übertragen. Dies reduziert die Belastung der Controller im Falle einer Datenwiederherstellung aufgrund von Festplattenfehlern erheblich. Die folgende Abbildung zeigt den Datenwiederherstellungsprozess innerhalb eines einzelnen Festplattenregals am Beispiel von RAID 6 (21 + 2). Wenn der Antrieb D1 fehlerhaft ist, muss die Steuerung D2-D21 und P lesen und dann D1 nachzählen. Insgesamt sollten 21 Datenblöcke von den Festplatten gelesen werden. Lese- und Wiederherstellungsvorgänge verbrauchen große Prozessorressourcen.
SmartDedupe und SmartCompression
OceanStor Dorado V6 führt automatisch eine adaptive Deduplizierung und Komprimierung basierend auf den Eigenschaften der Benutzerdaten durch und maximiert so die Effizienz. Der adaptive Prozess der Deduplizierung und Komprimierung ist wie folgt.- , , . , . .
- , «» (SFP) «». , .
- Wenn mehrere identische SFPs in der Tabelle "Funktionen" akkumuliert sind, werden die diesen SFPs entsprechenden Daten nach der Verarbeitung von Deduplizierungsdatenträgern gelesen. Nach Abschluss der Deduplizierung wird die Fingerabdrucktabelle aktualisiert.
Vor dem Komprimieren von Daten verwendet OceanStor Dorado V6 einen eigenen Vorverarbeitungsalgorithmus, um den Teil zu bestimmen, der in Datenblöcken basierend auf dem Datenformat schwer zu komprimieren ist. OceanStor ordnet die Daten neu und teilt sie in zwei Teile:- Für den Teil, der schwer zu komprimieren ist, komprimiert das System ihn mit einem speziell entwickelten Huawei-Komprimierungsalgorithmus
- Für den anderen Teil verwendet das System einen gemeinsamen Komprimierungsalgorithmus
Einige Speicheranbieter verwenden bereits die Datenkomprimierung in ihrem Arsenal. Normalerweise verwenden sie jedoch einen 4K- oder 1K-Block, um die Daten zu komprimieren. Huawei ist noch weiter gegangen und nutzt die Byte-Ausrichtung. Ich denke, die Illustration ist klar.Somit passen wir 32 KB Benutzerdaten in weniger als 5 KB an.Komprimierung und Deduplizierung funktionieren jetzt immer ab dem Zeitpunkt, an dem Sie die entsprechende Storage Efficiency-Lizenz installiert haben. Es kann nicht über den Geräte-Mabager deaktiviert werden. Wenn Sie dies jedoch wirklich möchten, können Sie dies über die CLI tun. Nach der Logik des Anbieters sollten platzsparende Technologien immer auf SSDs funktionieren.Ein wichtiger Punkt auf der ganzen Linie. Obwohl es nur fünf Modelle gibt, unterscheiden sie sich unter anderem in der Größe des Caches jedes Controllers:- OceanStor Dorado 3000 V6: 192 GB
- OceanStor Dorado 5000 V6: 256 GB / 512 GB
- OceanStor Dorado 6000 V6: 1024 GB
- OceanStor Dorado 8000 V6: 512 GB / 1024 GB / 2048 GB
- OceanStor Dorado 18000 V6: 512 GB / 1024 GB / 2048 GB
Wie Sie sehen, ändert sich das Gesamtvolumen älterer Modelle nicht, aber die Anzahl der Laufwerke ändert sich. Laut Aussagen von Huawei-Ingenieuren hatten sie einfach nicht die Möglichkeit, Systeme mit einem größeren Volumen als 2Pb zu testen. Theoretisch unterstützen sie mehr.Maximale Anzahl Laufwerke / maximale Kapazität: - OceanStor Dorado 3000 V6 - 1000 / 500TiB
- OceanStor Dorado 5000 V6 - 1200 / 1024TiB
- OceanStor Dorado 6000 V6 - 1500 / 2048TiB
- OceanStor Dorado 8000 V6 - 3200 / 2048TiB
- OceanStor Dorado 18000 V6 - 6400 / 2048TiB
In einem früheren Artikel habe ich vergessen zu erwähnen, welche Schnittstellenkarten allgemein verfügbar sind:Ich habe bereits gesagt (sowohl im vorherigen als auch in diesem Artikel), dass Huawei SSDs ihres eigenen Designs anbietet - Palm Size oder, wie sie es nennen, von Huawei entwickelte SSDs (HSSD) als Speichergeräte.Neben der Tatsache, dass das Unternehmen die Entwicklung als schneller ansieht, bietet es auch einige wichtige Funktionen.
SSD / - NAND. - NAND.
HSSD . SSD , /. SSD / , , , , .- (Bad Block)
- NAND. HSSD /, - NAND. , SSD (XOR) . HSSD , . - Hintergrundprüfung
Nach längerer Speicherung von Daten im NAND-Flash können Datenfehler aufgrund von Lese-, Schreib- oder versehentlichen Fehlfunktionen auftreten. HSSD liest regelmäßig Daten aus einem NAND-Flash-Speicher, prüft auf Bitänderungen und schreibt Bitänderungen auf neue Seiten. Dieser Prozess erkennt und verarbeitet Risiken vorab, wodurch Datenverluste wirksam verhindert und die Datensicherheit und -zuverlässigkeit verbessert werden.
Gehen wir also direkt zu den Tests. Wir haben beide Varianten der 5000V6-Controller mit 256 GB und 512 GB Cache getestet.Der erste Test war sozusagen das Aufwärmen.Wie wir sehen können, betrug bei diesem Lastprofil von 8k 50r / 50rw der Unterschied etwa 7% (220 kIOPs gegenüber 205 kIOPs) und betraf nur die endgültige Anzahl von IOPS, und die Reaktionszeit blieb auf dem gleichen Niveau - 0,9 ms.Übrigens war es sehr einfach festzustellen, dass wir uns auf dem Controller ausruhten. Das System selbst meldete eine hohe Auslastung der Controller-Prozessoren.Der zweite Test, den wir für alle Systeme auf SSDs verwenden, besteht darin, sie zu bewerten und mit einem komplexeren Profil zu vergleichen.Profil[global]
direct=1
thread=1
iodepth=16
filename=/dev/sdb
ioengine=libaio
runtime=3600000
group_reptorting
time_based
[8r]
rw=randread
numjobs=24
bs=8k
[8w]
rw=randwrite
numjobs=24
bs=8k
[32r]
rw=randread
bs=32k
numjobs=1
[32w]
rw=randwrite
numjobs=1
bs=32k
[128r]
rw=read
bs=128k
numjobs=1
[128w]
rw=write
bs=128k
numjobs=1
[512r]
rw=read
bs=512k
numjobs=1
[512w]
rw=write
bs=512k
numjobs=1
Hier ist das Bild ganz anders. Wenn der Unterschied in der Anzahl der IOPS in zweitausend (172 kIOPs gegenüber 170 kIOPs) überhaupt nicht signifikant ist, erhöht sich die Verzögerung um das Fünffache (von 0,4 ms auf 2,1 ms). Dies zeigt, dass bei der Arbeit mit einem großen Block eine größere Menge an Cache vorhanden ist gibt dem System einen Vorteil.Letztes Jahr haben Kollegen und ich bereits das Huawei Dorado 5000 V3 getestet , sodass wir diese beiden Systeme jetzt vergleichen können.Fortschritt im Gesicht. Das Lastprofil und das Prüfverfahren waren in beiden Fällen gleich.Natürlich wäre es auch gut, einen Vergleich mit Mitbewerbern anzustellen. Persönlich waren meine Hände im Vergleich zum NetApp AFF A400, Full NVMe-System, das vor nicht allzu langer Zeit erschien, sehr zerkratzt. Leider hat sie unser Testlabor noch nicht besucht, und ein Vergleich mit dem AFF A300 ist nicht ganz logisch, obwohl der frühere Dorado 5000 V3 von Huawei als Konkurrent positioniert war.Im Innenhof des 21. Jahrhunderts bieten viele Unternehmen verschiedene Programme an, um die Attraktivität ihrer Systeme zu erhöhen. Huawei hat beschlossen, in dieser Richtung mitzuhalten.Effektive Kapazitätsgarantie
Mit den neuen V6-Speichersystemen können Sie sich sicher auf eine effiziente Datenspeicherung mit Komprimierung und Deduplizierung verlassen. Im Allgemeinen bieten viele Anbieter auf dem Markt bereits ähnliche Programme an, die aufgrund einer effizienteren Speicherung die garantierte Speicherung von mehr Daten auf dem erfassten Nutzvolumen des Datenspeichersystems ermöglichen.Die Kosten für jedes Terabyte SSDs sind immer noch recht hoch, sodass Komprimierungs- und Deduplizierungstechnologien äußerst nützlich sind und bei vielen Datentypen eine hohe Effizienz aufweisen. Wenn es sich bei Ihren Daten um Video, Audio, Bilder, wissenschaftliche Daten, PDF, XML oder verschlüsselte Daten handelt, ist die Deduplizierung nicht wirksam, andernfalls funktioniert die Garantie. Selbst wenn Sie ein System mit der maximal installierten Anzahl von Laufwerken gekauft haben, erhalten Sie zusammen mit den Laufwerken unter dem Programm auch ein Erweiterungsfach.Flashver
Wenn Sie zusammen mit dem Array das Programm Huawei Hi-Care Onsite oder Co-Care oder höher erwerben, können Sie sich auf das kostenlose Update der Controller auf neue Modelle derselben Linie verlassen. Auf diese Weise erhalten Sie das modernste und produktivste System, ohne neue Systeme oder Datenmigration erwerben zu müssen. Der Austausch der Steuerungen erfolgt ebenfalls ohne Betriebsunterbrechung.Wenn Sie ein Fan von Schnittstellen sind und sich den aktualisierten Geräte-Manager ansehen möchten, ist OceanStor Dorado 18000 V6 6.0.0 DeviceManager bereits auf dem Huawei-Portal verfügbar .Leider war dieses System nur einige Tage in unseren Tests, sodass wir nur die Leistung messen konnten. Ich möchte aber auch Funktionstests durchführen, unsere bevorzugten Fehlertests, und einige Leistungsbeschwerden überprüfen, die bei der Durchführung einiger Vorgänge bei der vorherigen V3-Linie aufgetreten sind. Es ist wichtig zu verstehen, welche Änderungen in der neuen Linie (und dementsprechend in der Software) aufgetreten sind und Welchen Effekt haben sie gebracht?Ich möchte darauf hinweisen, dass die meisten Tests, die ich für meine Artikel durchführe, Teamarbeit sind. Ich bedanke mich bei meinen Kollegen aus der Integrationsgruppe der Firma "Onlanta", mit der ich zusammenarbeite. Wir suchen übrigens einen Systemarchitekten in unserem Team .