So bauen Sie ein Tier IV-Rechenzentrum nach dem N + 1-Schema

USV-Systeme mit isoliertem Parallelbus (IP-Bus) - die Antwort der Entwickler auf das Wachstum der Rechenzentrumskapazitäten. Viele Rechenzentren mit IP-Bus wurden bereits weltweit gebaut, einschließlich solcher mit dem Tier IV Uptime Institute-Zertifikat. Solche Entscheidungen werden von russischen Kunden beobachtet.

In der Praxis des Baus von Rechenzentren gibt es einen stetigen Trend zu deren Erweiterung. Objekte mit einer Leistung von 100 MW sind weltweit erschienen. Russland tritt auch nicht beiseite, obwohl es mit einiger Verzögerung in diese Richtung folgt. Vor 10 Jahren galt in unserem Land ein Rechenzentrum mit einer Leistung von 5 MW als groß, und heute kündigten mehrere führende Betreiber Pläne zum Bau von Anlagen für 2.000 oder mehr Racks an, was einem Energieverbrauch von 15 MW und mehr entspricht.

Für die Organisation von technischen Systemen mit hoher Leistung ist, wie die weltweite Praxis gezeigt hat, aus wirtschaftlicher Sicht eine Schaltung mit paralleler N + x-Verbindung (N + 1, N + 2 ...) von Geräten am zweckmäßigsten. Darüber hinaus ist die Stückkapazität der weltweit größten USV-Anlagen - dynamisch, die in solchen Lösungen verwendet werden kann - durch die Leistung (und die Kosten) der größten Dieselmotoren begrenzt, die für die Arbeit mit USVs verwendet werden.

Die direkte Parallelschaltung der USV, die die Möglichkeit bietet, effektive N + x-Konfigurationen zu erstellen, weist jedoch eine Reihe wesentlicher Nachteile auf:

• Niederspannungsanlagen können nur in Anlagen bis 5 MW eingesetzt werden. Dies ist sowohl auf Einschränkungen der verfügbaren Nennwerte von Niederspannungsgehäusen (6300 A) als auch auf hohe Kurzschlussströme zurückzuführen, deren Werte 150 kA überschreiten können.
• Mittelspannungslösungen, die den Bau von Systemen mit mehr als 5 MW ermöglichen, erhöhen die Kosten des Stromversorgungssystems und sind hinsichtlich des Betriebs nicht immer für Kunden geeignet.
• Gemeinsame Komponenten des Systems - Eingangs- und Ausgangsbusse, Bypass - sind häufige Fehlerquellen.

Das N + N (2N) -Schema, das dem Grad der Fehlertoleranz des Tier IV Uptime Institute entspricht, ermöglicht es durch den Bau separater Energiemodule, die Hauptnachteile klassischer paralleler Systeme zu umgehen. Dieser Ansatz hat jedoch andere offensichtliche Nachteile:

• 100% Verdoppelung der Ausrüstung, d.h. hohe Kapitalkosten;
• großer Platzbedarf;
• maximales Lastniveau - 50% (in der Praxis - nicht höher als 40%);
• hohe Betriebskosten.

Aus diesen Gründen wird die N + N (2N) -Konfiguration selten für Anlagen mit einer Leistung von mehr als 10 MW verwendet.

Im Jahr 2005 wurde eine Lösung gefunden, die unter Beibehaltung des Hauptvorteils der Parallelschaltung - der optimalen Anzahl von USV-Modulen in der N + x-Schaltung - Systeme mit einer Leistung von bis zu 20 MW bei einer niedrigen Spannung von 0,4 kV in die Praxis umsetzt. Diese als IP-Bus-Konfiguration bekannte Lösung erfüllt die höchste Fehlertoleranz (Tier IV Uptime Institute). Die IP-Bus-Idee basiert auf der Verwendung eines Ringbusses zum Anschluss einzelner USV-Module, die jeweils über eine Drossel isoliert sind (Abb. 1).


Abb. 1. USV-Isolation parallel

In IP-Bus-Systemen arbeitet jede USV mit ihrem eigenen Lastausgang und ist gleichzeitig über eine Isolationsdrossel mit einem gemeinsamen Bus (IP-Bus) verbunden, der mehrere wichtige Funktionen erfüllt:

• ermöglicht die Umverteilung der Wirkleistung zwischen USVs - ein USV-Modul mit geringerer Last „hilft“ anderen Modulen, indem es überschüssige Leistung über einen IP-Bus überträgt (Abb. 2);
• sorgt für eine unterbrechungsfreie Stromversorgung der Last im Falle eines Abschaltens der USV für Wartungsarbeiten oder im Falle eines Unfalls (Abb. 3, Abb. 4);
• verlangsamt den Austausch von Blindströmen zwischen USV-Anlagen aufgrund der Impedanzen von Reaktoren, so dass die Blindleistung im System nicht gesteuert werden muss.

• (. 5).
  
  - IP-Bus, , N + (N + 1, N + 2…). — 70%, .

<img src = " " alt = "image" />
Abb. 2. Ein Beispiel für die Lastverteilung in einem System mit 16 USV-Installationen

Im Gegensatz zur „direkten“ parallelen Konfiguration im IP-Bus-System steuert jede USV-Installation ihre Ausgangsspannung unabhängig von den anderen - es gibt kein zentrales Steuergerät und ein gemeinsamer Fehlerpunkt wird beseitigt. Unter der Annahme, dass der Stromfluss von einer USV aus irgendeinem Grund plötzlich verschwindet, bleibt die Last über die IP-Drossel, die jetzt als Backup-Stromquelle fungiert, mit dem IP-Bus verbunden. In diesem Szenario wird die Last automatisch und ununterbrochen vom IP-Bus mit Strom versorgt (siehe Abb. 3).


Feige. 3. Beispiel für Systemredundanz bei Ausfall / Herunterfahren einer USV-Anlage

In der Praxis wird der IP-Bus üblicherweise in Form eines Rings hergestellt, wie in Fig. 1 gezeigt. 4. Das zweite Segment des IP-Busses, oft als Return-Bus bezeichnet, dient als Backup-Quelle für Lasten, sodass Sie diese über separate Schalter direkt mit dem IP-Bus verbinden können - eine Art Bypass, der die Nennspannung der Last auch im Notfall sicherstellt Situationen oder bei der Durchführung von Servicearbeiten. Solche Bypässe sind kein häufiger Fehlerpunkt, da die Last zum anfänglichen Zeitpunkt bis zum Schließen des Bypasses weiterhin Strom vom IP-Bus über die IP-Drossel erhält, wie oben erwähnt.


Feige. 4 Beispiel für den Betrieb der Last Nr. 2 direkt vom Backup-IP-Bus

Das Verhalten des IP-Bus-Systems unter Kurzschlussszenarien unterscheidet sich ebenfalls erheblich von Prozessen in einer „direkten“ parallelen Konfiguration. In der IP-Bus-Schaltung haben mögliche Kurzschlüsse aufgrund der Verwendung von IP-Drosseln nur einen vernachlässigbaren Einfluss auf die Lasten. In diesem Fall überschreiten die Kurzschlussströme 100 kA nicht, was die Verwendung von Standardschalt-, Schutz- und Busausrüstung ermöglicht.

Bei einem Kurzschluss auf der Lastseite der USV (siehe Abb. 5) ist die Auswirkung eines solchen Kurzschlusses auf das gesamte System relativ unbedeutend, da die verbleibenden Lasten über zwei in Reihe geschaltete Drosseln von der USV isoliert sind. Andererseits ist der Kurzschlussstrom, den die USV einem gemeinsamen IP-Bus zuführt, durch den Widerstand der IP-Drossel begrenzt. Daher sind Spannungsänderungen an nicht betroffenen Lasten unbedeutend und verbleiben im sicheren Bereich der ITI-Kurve (CBEMA).


Feige. 5. Beispiel für die Verteilung und Werte von Kurzschlussströmen im IP-Bus-System mit Kurzschluss am an die USV 2 angeschlossenen Lastleistungsbus

Bei einem Kurzschluss am IP-Bus befindet sich nur eine IP-Drossel zwischen Fehlerstelle und USV oder Last. Daher ist der Spannungsabfall über den Lasten in diesem Szenario im Vergleich zum Kurzschluss im Lastverteilungssystem viel größer. Bei einem niedrigen Übergangswiderstand beträgt der anfängliche Spannungsabfall über der Last 30%. Bei empfindlichen Server-Netzteilen ist dieser Spannungsabfall gemäß der ITI-Kurve (CBEMA) für maximal 500 ms akzeptabel. Durch die Verwendung eines segmentierten Richtungsschutzes, der speziell an die Anforderungen des IP-Bus-Systems angepasst ist, können Sie den Kurzschluss am IP-Bus durch selektives Trennen des Kurzschlusses für 60 ms reinigen und gleichzeitig den nicht direkt betroffenen Teil des IP-Bus-Systems vollständig erhalten praktikabel.

Das IP-Bus-System besteht aus mehreren USV-Installationen, deren Anzahl durch die eingestellte N + x-Redundanzstufe bestimmt wird und die folgenden Hauptkomponenten umfasst: eine USV mit einem Stromspeichergerät, eine IP-Drossel zum Anschließen der USV-Installation an den IP-Bus und Schalter, die für den sicheren Betrieb des Systems erforderlich sind.

In Abb. Fig. 6 zeigt eine Ausführungsform eines IP-Bussystems, das auf einer rotierenden USV basiert.

Systemelemente:

1. Externes Netzwerk
2. IP-Bus
3. IP-Return-Bus
4. USV mit Drehrad
5. DGU für lange Netzwerkunterbrechung (optional)
6. IP-Drossel
7. Bypass-Schalter
8. IP -Schalter
9. Laden




Feige. 6. Ein Beispiel für ein IP-Bus-System mit einem rotierenden USV-Piller UNIBLOCK und einer externen DGU mit einem „niedrigeren“ Einschalten.

Nach Pillers praktischer Erfahrung sind dynamische USVs mit Schwungrädern (Abb. 6) als Backup-Energiespeicher ideal für IP-Bus-Systeme, da Kinetische Antriebe als Teil des DIBP können sowohl im Modus der sofortigen Energieabsorption als auch der sofortigen Entladung arbeiten, was für die Stabilisierung der Betriebsparameter des IP-Bus-Systems bei Lastwechsel wichtig ist.

Darüber hinaus können die Motorgeneratoren im DIBP hohe Kurzschlussströme von bis zu 20 x Inom liefern, wodurch IP-Bus-Systeme die Kurzschlussreinigung sehr lange bewältigen können, ohne benachbarte Lasten den negativen Auswirkungen eines Kurzschlusses auszusetzen.
Statische USVs mit Batterien können nur begrenzt hohe Ströme sofort senden und empfangen, und außerdem sind die Kurzschlussströme der USVs selbst relativ niedrig. Aus diesen Gründen sind IP-Bus-Lösungen auf statischen USVs eher ein Experiment und werden in vorhandenen Rechenzentren praktisch nicht gefunden.

Das weltweit erste IP-Bus-System wurde 2007 für ein 36-MW-Rechenzentrum in Ashburn (Virginia, USA) implementiert. In der Anlage wurden zwei separate IP-Bus-Systeme installiert, von denen jedes 16 Piller UNIBLOCK UBT 1670-kVA-USVs mit Schwungrädern in einer 14 + 2-Konfiguration enthält. Bei langfristigen Ausfällen des externen Netzwerks wird jeder DIBP von einem separaten 2810-kVA-Dieselgenerator mit einem „niedrigeren Einschaltvorgang“ reserviert. Dies funktioniert sowohl bei unterbrechungsfreien als auch bei garantierten Stromversorgungslasten
Nach dem Erfolg des ersten IP-Bus-Systems gewann diese Konfiguration schnell an Popularität in der Rechenzentrumsbranche. Ein weiterer Meilenstein in der Entwicklung und Anerkennung der IP-Bus-Technologie war der Erhalt des Tier IV Design & Facility Uptime Institute-Zertifikats im September 2017 durch das australische Rechenzentrum NEXTDC B2 mit IP-Bus N + 1-Stromversorgungssystem.

Der russische Markt für Rechenzentren befindet sich erst in der Bauphase großer Anlagen mit einer Leistung von über 10 MW. Basierend auf den Ergebnissen der ersten Konzeptberechnungen und Budgetbewertungen von IP-Bus-Lösungen in mehreren Rechenzentrumsprojekten in Russland (im Kapazitätsbereich von 5 bis 15 MW) können die folgenden Schlussfolgerungen gezogen werden. Verglichen mit der 2N-Konfiguration auf statischen USVs sind IP-Bus-Lösungen auf DIBP-Basis nicht teurer bei den anfänglichen Kapitalkosten, sondern bieten 30-60% Gewinn an belegtem Raum und mehr als 50% rentabler in Bezug auf die Betriebskosten (TCO) für einen Zeitraum von 10 Jahren. Im Vergleich zur verteilten redundanten N + 1-Konfiguration (DR 3/2, 4/3), die sowohl auf statischen als auch auf dynamischen USVs implementiert ist, sind IP-Bus-Lösungen auf DIBP-Basis bei den anfänglichen Kapitalkosten (für Rechenzentren mit einer Kapazität von 10) nicht teurer MW oder mehr) ergeben einen Gewinn von 20-50% in der besetzten Fläche, 50% rentabler in Bezug auf die Gesamtbetriebskosten für einen Zeitraum von 10 Jahren.

Daher bin ich sicher, dass die Implementierung von IP-Bus-Systemen in russischen Rechenzentren nur eine Frage der Zeit ist.