Übersichtlich und anpassungsfähig
Von Andreas Klees, Geschäftsführer und Leiter Business Unit EasyLan, ZVK GmbH
EN 50173-5 schafft die Basis für einen durchgängig übersichtlichen Aufbau von Verkabelungen im Rechenzentrum. Statt Server-to-Switch-Verbindungen per Anschlusskabel werden hier alle Geräte über eine Patch-Ebene angeschlossen. Das heißt: Die installierten Datenleitungen müssen nicht angetastet werden, wenn die IT-Abteilung Geräte tauscht oder zum Beispiel die Serverstruktur verändert.
Grundlage zu EN 50600-X
Zusätzliche Anforderungen in Richtung Prozesssicherheit und vor allem Ausfallsicherheit ergeben sich aus der neuen Normenreihe EN 50600-X. Die zugehörigen Standards wurden seit Mitte 2013 sukzessive verabschiedet. Sie sollten bei der Planung oder Modernisierung einer RZ-Verkabelung unbedingt mit berücksichtigt werden: EN 50600-1 (Allgemeine Konzepte), EN 50600-2-1 (Gebäudekonstruktion), EN 50600-2-2 (Energieversorgung), EN 50600-2-3 (Klimatisierung), EN 50600-2-4 (Infrastruktur der Telekommunikationsverkabelung), EN 50600-2-5 (Sicherheitstechnik) und EN 50600-2-6 (Management und Betrieb).
Dabei umfasst die EN 50600-1 allgemeine Aspekte: Sie definiert die Teile eines Rechenzentrums, die Designform, Klasse, Typ und Größenordnung sowie die Verfügbarkeitsanforderungen. Außerdem können mit ihr Redundanzen normkonform festgelegt werden. Auf diesen Festlegungen basiert dann die Auslegung der einzelnen Gewerke, die über die EN 50600-2-X abgebildet sind. Für die Verkabelung ist die EN 50600-2-4 „Infrastruktur der Telekommunikationsverkabelung“ zuständig. Diese verweist explizit auf die EN 50173-X.
Abschied von Punkt-zu-Punkt
Vor allem in überschaubaren IT-Umgebungen werden Server und Switches oft noch direkt per Anschlussleitung miteinander verbunden. Eine zusätzlich gespiegelte Patch-Ebene erscheint hier zunächst umständlich. Doch bei Punkt-zu-Punkt-Verbindungen lässt der IT-Betreuer den Wartungsaspekt außen vor. Sobald nämlich eine solche IT-Infrastruktur verändert wird, treten Probleme auf: Sollen beispielsweise neue Server oder Switches integriert werden, passen die Anschlüsse oft nicht mehr. Dann muss ein anderes Verbindungskabel zwischen den Geräten her.
Solche Punkt-zu-Punkt-Verbindungen findet man auch in gewachsenen Infrastrukturen. Hier lassen sich die vorhandenen, oft dicht gepackten Kabel im Doppelboden kaum noch identifizieren. Ist dann die Netzwerkdokumentation nicht auf dem jüngsten Stand, steigt das Risiko, dass der Servicetechniker bei der Umschaltung einen aktiven Port unterbricht. Da sich das nicht mehr benötigte Kabel nicht eindeutig identifizieren und auch nur schwer bewegen lässt, verbleibt es meist im Doppelboden. So wird der Doppelboden mit jedem neuen Anschlusskabel voller, und die Brandlast steigt unaufhörlich. Hinzu kommt, dass mit zusätzlichen aktiven Komponenten auch der Kühlbedarf im Rechenzentrum zunimmt, die kalte Luft aber kaum noch ungehindert durch den vollgepackten Doppelboden strömen kann. Das Risiko von Hitzenestern steigt.
Schwarz auf Weiß
Dieser Beitrag erschien zuerst in unserer Magazinreihe „Rechenzentren und Infrastruktur“. Einen Überblick mit Download-Links zu sämtlichen Einzelheften bekommen Sie online im Pressezentrum des MittelstandsWiki.
Flexibel und sauber auf Patch-Ebene
Die strukturierte Verkabelung nach EN 50173-5 vermeidet das. Die Norm basiert auf langjährigen Best-Practice-Erfahrungen von großen Rechenzentrumsbetreibern und ermöglicht Netzanpassungen ohne Störung des Betriebs. Sie stellt eine anwendungs- und herstellerneutrale Infrastruktur zur Verfügung, bei der die Verkabelungskomponenten und -systeme je nach Datendurchsatz und Umgebungsbedingungen bestimmten technischen Mindestanforderungen entsprechen müssen.
Die strukturierte Rechenzentrumsverkabelung gemäß EN 50173-5. ENS: Schnittstelle zum externen Netz; HV: Hauptverteiler; BV: Bereichsverteiler; LVP: lokaler Verteilerpunkt; GA: Geräteanschluss. (Bild: ZVK)
Bei einer Verkabelung nach EN 50173-5 werden die einzelnen Geräte und Systeme analog zur LAN-Verkabelung über Bereichsverteiler an den Hauptverteiler eines RZs angeschlossen. Der Hauptverteiler verbindet die Bereichsverkabelungen des RZs mit den Zugangsnetzen sowie mit dem LAN. Sowohl die Bereichs- als auch der Hauptverteiler müssen als Cross Connects also als echte Patch-Verteiler ausgeführt sein. Das gewährleistet ein sicheres, gut zu dokumentierendes und durch die gute Zugänglichkeit einfach und damit kosteneffizient durchführbares Patch-Management. Außerdem erlaubt diese Infrastruktur eine flexible Konfiguration von Redundanzen.
Topologien im Überblick
Die Norm erlaubt dabei verschiedene Verkabelungstopologien. Diese richten sich nach den Bedürfnissen des Betreibers und der vorhandenen Infrastruktur. Die Struktur sollte man jedoch einheitlich durchhalten, um Wartungsarbeiten und Erweiterungen zu vereinfachen und möglichst prozesssicher zu gestalten. Häufig findet man zum Beispiel Infrastrukturen mit zentralem Bereichsverteiler oder mit zusätzlichen lokalen Verteilerpunkten in den Schrankreihen.
Will der RZ-Betreiber alle IT-Komponenten einzelner Abteilungen eines Unternehmens oder einzelner Firmen in einem Bürogebäude jeweils in einem Schrank unterbringen, bietet sich eine Topologie mit einem zentralen Bereichsverteiler an. Dabei werden alle Schränke mit ihren Netzwerk- und SAN-Servern sowie -Switches direkt an den zentralen Bereichsverteiler angeschlossen. Über diesen Bereichsverteiler erfolgt dann die Anbindung an Netzwerk-Core und SAN des Bereichs.
Ebenfalls verbreitet sind Rechenzentren, bei denen jede Serverschrankreihe mit einem Switch-Rack am Ende der Reihe ausgestattet ist. Diese Switch-Racks verfügen über einen großen Patch-Bereich und fungieren als lokale Verteilerpunkte. Sie binden die Server ihrer Schrankreihe an das Switch-Core und SAN dieses RZ-Bereichs. Bei dieser Topologie ist die Bereichsverteilung auf die lokalen Verteilpunkte und einen Verteiler am Core aufgeteilt. Bei dieser Struktur lassen sich die Verbindungen von den lokalen Verteilpunkten in den Reihen besonders übersichtlich per Uplink mit dem Bereichsverteiler verbinden.
Trassen und Umgebungsbedingungen
Im RZ können die Kabel entweder im Doppelboden oder in Trassen über den Schränken geführt werden. Das Bundesamt für Sicherheit in der Informationstechnik bevorzugt in seinem IT-Grundschutzkatalog M 1.69 „Verkabelung in Serverräumen“ jedoch eine Verlegung unter der Decke. Die Kabel lassen sich dort leichter austauschen und beeinträchtigen nicht den Luftstrom der Kühlung im Doppelboden. Außerdem sollen die Kabel „so weit als möglich umfassend fest“ verlegt sein. Das BSI schlägt vor, pro Serverschrank ein Kupfer- und ein LWL-Patchfeld vorzuhalten.
Die MICE-Klassifizierung (Mechanical, Ingress, Climatic, Electromagnetic) für Rechenzentren geht von einer mittleren mechanischen und einer hohen elektromagnetischen Belastung aus. Letzteres spricht zum Beispiel für Glasfaserlösungen. Darüber hinaus ist es sinnvoll, Glasfaserkabel wegen des Platzmangels biegeunempfindlich auszulegen. Solche Glasfasern können Daten selbst bei Biegeradien von 15 oder gar 7,5 mm nahezu verlustfrei übertragen. Ein reduzierter Brechungsindex mit einer Grabenstruktur im Mantel wirft das Licht zurück in den Kernbereich. Dennoch ist es wichtig, auch diese Fasern möglichst stressfrei zu verlegen. Denn auch biegeoptimierte Faser verhindert keine Faserbrüche.
Kupfertechnik-Komponenten
Die EN 50173-5 verweist für die Wahl der Komponenten auf den allgemeinen Teil 1 der Normenreihe (EN 50173-1). Darin sind die verschiedenen Kabel- und Steckertypen spezifiziert, die der Anwender für die ebenfalls darin normierten Übertragungsklassen und Komponentenkategorien benötigt.
Die Verkabelung in und zwischen den Schränken ist häufig mit Kupferverbindungen realisiert. Da im RZ hohe Datenraten vorherrschen, kommen in der Kupfertechnik derzeit nur genormte Komponenten der Kategorie 6A (500 MHz) oder 7A (1000 MHz) infrage. Eine Verbindung sollte mindestens der Klasse EA beziehungsweise FA entsprechen. Derzeit konträr diskutiert werden Kupferkomponenten für 25/40 GBit/s. Sie müssen der künftigen Kategorie 8.1 und Channel-Klasse 1 (Weiterentwicklung der Kategorie 6A, Klasse EA über RJ45) oder Kategorie 8.2 mit Channel-Klasse 2 (Weiterentwicklung der Kategorie 7A, Klasse FA; der Steckertyp ist noch nicht abschließend festgelegt) entsprechen. ISO/IEC 11801 hat dafür jeweils eine maximale Übertragungsstrecke bis 30 m inklusive Patch-Kabel und eine Übertragungsfrequenz bis 2000 MHz spezifiziert. Erste Komponenten dazu soll es zumindest als Prototypen bereits geben. Wer sein Rechenzentrum dafür auslegen möchte, sollte diese Längenrestriktionen mit einplanen.
Doch derzeit setzen die meisten Rechenzentren in Deutschland Kupferkomponenten der Kategorie 6A ein. Sie eignen sich für 10-Gigabit-Ethernet-Verbindungen bis 100 m und basieren auf einem RJ45-Steckgesicht. Wichtig ist bei Datenraten von 1 und 10 GBit/s, dass alle Komponenten aufeinander abgestimmt sind. Das gilt nicht nur für die Datenleitung und die Anschlussmodule im Patch-Feld, sondern auch für die Patch-Kabel. Ein billiges Patch-Kabel, das nicht der installierten Komponentenkategorie entspricht, kann die Übertragung erheblich beeinträchtigen.
Glasfasertechnik-Komponenten
Die LWL-Verbindungen im Rechenzentrum sollten heute für Datenraten bis 40 oder gar 100 GBit/s ausgelegt sein. Manche RZ-Betreiber schwören auf Singlemode-Fasern (SM) und setzen diese durchgängig im Rechenzentrum ein. Das schafft zwar Bandbreitenreserven, ist aber erheblich teurer als Multimode-Lösungen. Allein der dafür nötige Fabry-Perot-Laser kostet um ein Vielfaches mehr als ein Vertical Cavity Surface Emitting Laser (VCSEL).
Bei Multimode-Faser-Verbindungen (MM) innerhalb des Rechenzentrums genügen für 10GBE direkte Short-Reach-Verbindungen mit OM3- beziehungsweise OM4-Fasern. Sie erlauben Distanzen von 300 m beziehungsweise 500 m. Bei 40-Gigabit-Ethernet ist ein Vierfachwellenlängenmultiplex nötig, um mit OM3-Fasern 100 m und mit OM4-Fasern 125 m zu überbrücken. Bei 100GbE sind zwei Multiplex-Varianten möglich: Mit einem Vierfachmultiplex lassen sich Distanzen bis 100 m (OM3) beziehungsweise 125 m (OM4) überbrücken. Darüber hinaus ist mit 100GBASE-SR10 ein Zehnfachmultiplex definiert, das die gleichen Distanzen mit einem 10-fach-VCSEL-Array erreicht.
Die EasyLan-H.D.S.-Module bieten pro Anschlussmodul zwölf LC-Ports. Bei dieser Installation sind LED-Patch-Kabel im Einsatz: Rechts oben wurde ein LED-Detektor aktiviert, um den zugehörigen Port links unten sicher zu identifizieren. (Bild: ZVK)
Bei Multiplex-Verbindungen bieten sich MPO-Steckverbinder (Multipath Push-On) an, die in einem Steckergehäuse parallel jeweils 4, 8, 12, 16 oder 24 Faserverbindungen bieten und kaum breiter sind als RJ45-Stecker. Ansonsten findet man im RZ heute fast nur noch LC- bzw. LC-Duplex-Steckverbindungen. Egal, ob MM- oder SM-Technologie zum Einsatz kommt, es muss immer darauf geachtet werden, dass LWL-Komponenten mit sehr hoher Güte (Premiumqualität) zum Einsatz kommen.
Spleißverteilung und Kabeltrunks
Moderne Rechenzentren sind heute durchgängig mit vorkonfektionierten Trunk-Kabellösungen und Mehrfachsteckern versorgt. Die dicken, starren, bis zu 144 Fasern fassenden Backbone-Kabel vom Provider oder Campus-Netz sollten möglichst direkt in einem zentralen Spleißverteiler auf dünne LWL-Trunk-Kabel mit Mehrfachstecker umgesetzt werden. Das erleichtert die Zuordnung und das Handling.
Darüber hinaus findet man für Schrank-zu-Schrank-Verbindungen meist komplett vorkonfektionierte Kabeltrunks im RZ. Die MPO-Verbindungen sind ein Beispiel für solch dünne Trunks. Es gibt darüber hinaus noch LWL-Lösungen auf LC-Basis oder Trunks mit Kupferanschlussmodulen. Sie bilden die Verbindungen zwischen den einzelnen Patch-Ebenen im RZ. Allen gemein ist, dass mehrere Datenverbindungen in einem Kabel integriert sind. Das ermöglichen einen kleineren Gesamtquerschnitt, eine geringere Brandlast und zudem eine schnellere Installation. Außerdem sind damit Packungsdichten von wesentlich mehr als 48 Ports pro Höheneinheit möglich. Da die Mehrfachstecker solcher Systeme meist in spezielle Einbaurahmen geschraubt werden, gibt es Lösungen, die auch einen senkrechten Einbau von schmalen Elementen seitlich neben der 19-Zoll-Ebene ermöglichen.
Patch-Kabel mit LED-Zuordnung
Bei der strukturierten RZ-Verkabelung wird die Patch-Ebene zum entscheidenden Betätigungsfeld für das Wartungspersonal. Da die Patch-Kabel im Verteiler direkt vom Port zur Seite geführt werden, treten gleich hinter dem Stecker Torsionskräfte auf. Diese Torsion beeinflusst bei vielen herkömmlichen Patch-Kabeln, die lediglich mit einer aufgesteckten Knickschutztülle ausgestattet sind, die elektrischen Übertragungswerte. Dabei kommt es vor, dass die Grenzwerte für Kategorie-6A-Komponenten nicht mehr eingehalten werden. Einen besseren Schutz bieten umspritzte Stecker. Hier sind die Adern für die Datenübertragung fest in ihrer Position fixiert. Zudem sollten sie mit einer aufgesteckten Tülle zur Zugentlastung ausgestattet sein.
Mit dem EasyLan-Winkelpanel der ZVK werden zusätzliche Rangierpanels überflüssig. Die Ports sind im 30-Grad-Winkel schräg montiert, angeschlossene Patch-Kabel laufen automatisch zur Seite und müssen nicht mehr hingebogen werden. Es gibt diese Winkelpanels mit Kupfer- und LWL-Ports. (Bild: ZVK)
Um Platz zu sparen, bieten mehrere Hersteller Patch-Panels an, bei denen die Ports in einem Winkel von etwa 30 Grad schräg zur Seite in der Frontplatte montiert sind. So laufen die daran angeschlossenen Patch-Kabel automatisch zur Seite, müssen nicht gebogen werden und benötigen nur eine Befestigung an den Holmen neben dem Patch-Bereich. Zusätzliche Rangierpanels sind hier unnötig. Damit können vorhandene Verteilerschränke mit doppelter Packungsdichte aufgebaut werden.
Prozesssicherheit ist in Rechenzentren und deshalb auch in der Normenreihe EN 50600-X ein wichtiger Aspekt. Bei jeder Netzveränderung müssen Anschlüsse im Verteilerschrank gepatcht werden, und das Netz ist einem ständigen Wandel unterworfen. Dabei hinkt die Dokumentation oft hinterher. Das führt oft dazu, dass eine Beschriftung nicht mehr mit dem zugeordneten Port übereinstimmt. Patch-Kabel mit LED-Signalisierung erhöhen hier die Prozesssicherheit: Sie leuchten auf, wenn der Anwender an einem Ende des Kabels einen Detektor einsteckt. Das erleichtert Wartungsmaßnahmen während des Betriebs beträchtlich. Ein unbeabsichtigtes Ziehen von Anschlussleitungen ist damit nahezu ausgeschlossen. Außerdem können diese Patch-Kabel als komplettes Bündel verlegt werden und später dank der LED-Signalisierung sicher angeschlossen werden. Das wiederum beschleunigt die Installation.
Protokollneutrale Infrastruktur
Noch werden in Rechenzentren separate Infrastrukturen für Daten- und Storage-Netze betrieben. Schon jetzt aber kann man Datacenter mit einer einfacheren, protokollneutralen Infrastruktur betreiben. Entsprechende Komponenten, die sowohl SAN- als auch Ethernet und Infiniband-Protokolle unterstützen, sind bereits erhältlich. Somit muss nicht mehr zwischen SAN- und Netzwerk-Switch, SAN-Verbindung und Netzwerkkabel unterschieden werden. Damit ist sichergestellt, dass diese Komponenten zum Beispiel die für SANs notwendige verlustfreie Datenübertragung via Ethernet gewährleisten, sollten sie IEEE 802.1 Data Center Bridging DCB unterstützen. Darüber hinaus wird bei dieser durchgängig einheitlichen Verkabelung die exakte Dokumentation und sichere Zuordnung noch wichtiger für die Prozesssicherheit. Hier ist eine LED-Signalisierung auf jeden Fall anzuraten.
