XWiN-Anschluss

Beim Einspielen von Signatur Updates trat ein spontaner Reboot auf.
Dadurch kam es zu einer kurzer Verbindungsunterbrechung der Systeme.
--- English version ---

Aufgrund eines Faserbruchs auf der Strecke nach Frankfurt wird der Datenverkehr über Hannover umgeleitet. Es bestehen daher keine Einschränkungen für die RWTH-Anbindung.

Die Firewall Engines erhalten neue Software

Erledigt.

In dem Zeitraum wird das Routing der bisherigen XWiN-Router (Nexus 7700) auf die neuen XWiN-Router (Catalyst 9600) umgestellt. Diese Router sind für die Netzverbindung der RWTH unerlässlich. Für diese Umstellung ist auch die Migration der DFN-Anbindung, welche redundant nach Frankfurt und Hannover geschaltet sind, sowie der RWTH-Firewall auf die neuen System erforderlich.
Innerhalb des Wartungsfensters wird es zu Ausfällen oder Teilausfällen der Außenanbindung kommen. Alle Services der RWTH (bspw. VPN, Email, RWTHonline, RWTHmoodle) werden innerhalb dieses Zeitraums nicht zur Verfügung zu stehen. Die Erreichbarkeit von Services innerhalb des RWTH-Netzes ist aufgrund eingeschränkter DNS-Funktionalität zeitweise nicht gegeben.
---english---

Der Uplink nach Frankfurt wurde erfolgreich auf das neue System geschwenkt.

Umbau des Uplinks nach Hannover beginnt.

Uplink nach Hannover auf das neue System umgezogen.

BGP v4/v6 nach Frankfurt und Hannover sind nun über die neue Routern funktional.

Es stehen noch ein paar kleinere Nacharbeiten an.

Wartung ist abgeschlossen. Der Datenverkehr läuft nun vollständig über die neuen Router!

Problematik mit der Anbindung zur Physik identifiziert, Lösung erfolgt morgen früh.

Die Switche werden durch neuere leistungsfähigere ersetzt.

Die Software der Firewall Nodes wird aktualisiert

Done.

Wg. Anpassung eines Kernelparameters müssen die Systeme neu gestartet werden

Abgeschlossen.

Diverse Firewallknoten werden aktualisiert.

Done.

Eine hoffentlich weniger speicherhungrige Version wurde installiert.

In dem Zeitraum finden Redundanztests unserer Außenanbindung statt. Es könnte zu kürzeren Ausfällen in dem Zeitraum kommen.

Seit 10:15 Uhr ist ein Großteil der Netaachen / Netcologne Kund*innen aus dem RWTH Netz nicht mehr erreichbar. Die Störung liegt nicht bei uns. Dieser Hinweis geht ist an die Kolleg*innen im Homeoffice gerichtet, die unsere Dienste nicht mehr nutzen können.
Die Störung wurde um ~16:30 Uhr behoben.

So langsam sind wieder mehr und mehr Netaachen/Netcologne Kund*innen erreichbar.

Die Situation der Konnektivität zu Netaachen/Netcologne Zielen hat sich wieder bedeutend verschlechtert. Vermutlich wird die Störung noch länger dauern.

Aufgrund eines Faserbruchs der Anbindung nach Frankfurt kam es zu einer kurzen Unterbrechungen der Konnektivität durch die Routing-Anpassung. Der Datenverkehr wird nun vollständig über den Uplink nach Hannover umgeleitet.
Es wird bereits an einer Lösung des Problems gearbeitet.

Es handelt sich um einen Faserbruch auf dem Weg nach Frankfurt.
Wir halten Sie auf dem Laufenden

Die Firewallknoten erhalten ein Softwareupdate

Done.

Aufgrund von Linkflaps der Anbindung nach Frankfurt kommt es derzeit zu kurzen Unterbrechungen der Konnektivität. Es wird bereits an einer Lösung des Problems gearbeitet.

Erweiterung der Ticketqueues.

Nachdem das DFN-seitige Problem nachts wenig ausgeprägt auftrat, waren seit ca. 10:14 Uhr hochschulweit vorübergehende Qualitätseinschränkungen in der Außenanbindung bemerkbar (abbrechende Verbindungen usw.). Nach Diagnose zusammen mit dem DFN-Verein wurde das Routing gegen 10:55 Uhr manuell angepasst, so dass nun kein Datenverkehr mehr über die – immer noch selbsttätig zu- und abschaltende – Faserverbindung nach Frankfurt a.M. fließt.
Die Anbindung läuft nun stabil über Hannover, so dass der Faserdefekt für uns keine bemerkbaren Auswirkungen mehr hat.
(Zu einem späteren Zeitpunkt, nach Wiederherstellung einer stabilen Verbindung nach Frankfurt durch den DFN-Verein bzw. seine Auftragnehmer, werden wir das Routing über beide Faserwege wieder in Betrieb nehmen.)

Die Leitung nach Frankfurt ist seit 18:26 Uhr wieder im regulären Betrieb. Ein defekter Transceiver wurde auf der Gegenseite getauscht.

Seit 7:04 Uhr gibt es eine Unterbrechung der Faserstrecke nach Frankfurt.
Während eines Inbetriebnahme-Versuchs gefolgt von einem erneuten Ausfalls um 10:04 Uhr kam es durch die Routing-Konvergenz zu einer Unterbrechung der externen Konnektivität von ca. 3 Minuten.
Aktuell läuft der Internetverkehr ungestört über den zweiten Weg.

Nach einer Wartung durch den DFN am Standort Frankfurt kam es zu einem Ausfall der 100 Gigabit-Strecke dorthin. Seit 10:05 Uhr ist dies gelöst. Bei der Wiederinbetriebnahme kam es bei einem Teil der IPv4-Verbindungen zu einer kurzen Unterbrechung.

Aufgrund eines Hardware-Schadens einer Linecard in unserem XWiN-Router erfolgt ein kurzer Umschaltvorgang auf eine fehlerfreie Linecard. Dadurch kommt es zu einer Unterbrechung des Routings nach Frankfurt von bis zu 60 Sekunden. Einige Ziele werden in dem Zeitraum nicht erreichbar sein.

Nach 7 Jahren wird eine neue Hardware für die RWTH Firewall in Betrieb genommen.
Es muss damit gerechnet werden, dass Verbindungen unterbrochen werden.
Der generelle Ausfall sollte kleiner als 30s bleiben.

Aufgrund hoher Last auf der zentralen RWTH Firewall kam es zu erhöhten Latenzen, wodurch insbesondere Videokonferenzen gestört wurden. Durch die Deaktivierung ein paar nicht essenzieller Dienste konnte das Problem behoben werden. In Kürze ist eine Leistungssteigerung der Firewall geplant, um zukünftig genügend freie Ressourcen zu schaffen.

Erweiterung der Meldung auf die Queue Webex. Durch die Störung werden Echtzeitanwendungen wie Webex in Mitleidenschaft gezogen.

Die genannten Firewalls erhalten neue Software

Die Firewalls erhalten neue Software

xwin ist auch durch

dc und zhv sind durch, xwin ergänzt

Aufgrund eines Fibercuts ist die Leitung nach Hannover ausgefallen.
Der Leitungsprovider wurde bereits vom DFN informiert.
Die redundante Leitung nach Frankfurt funktioniert hingegen einwandfrei, wodurch es aktuell zu keinerlei Störungen der Netzanbindung kommt.

Störung wurde behoben

Die Firewall Nodes erhalten neue Software.
Aufgrund eines Software Bugs ist das Update dringend erforderlich. Aus diesem Grund erfolgt die Ankündigung nur mit kurzer Vorlaufzeit. Es besteht die Möglichkeit, dass es während der Arbeiten zu Ausfällen der XWiN-Anbindung oder Ausfälle der Netzverbindung kommen kann.
--- english version---