Die Firewall Nodes erhalten neue Software. Aufgrund eines Software Bugs ist das Update dringend erforderlich. Aus diesem Grund erfolgt die Ankündigung nur mit kurzer Vorlaufzeit. Es besteht die Möglichkeit, dass es während der Arbeiten zu Ausfällen der XWiN-Anbindung oder Ausfälle der Netzverbindung kommen kann. --- english version--- The firewall nodes are receiving new software. The update is urgently required due to a software bug. For this reason, the announcement has been only made with a short lead time. There is a possibility that the XWiN connection or network connection may fail during the work.
Update der Software von 7.0.3 auf 7.1.2
Aufgrund eines Fibercuts zwischen Aachen und Jülich ist die Leitung nach Hannover ausgefallen. Der Leitungsprovider wurde bereits vom DFN informiert. Die redundante Leitung nach Frankfurt funktioniert hingegen einwandfrei, wodurch es aktuell zu keinerlei Störungen der Netzanbindung kommt.
Störung wurde behoben
Die RWTH Anbindung via Frankfurt steht in dem Zeitraum aufgrund einer Muffensanierung nicht zur Verfügung. Während des Wartungsfensters wird der Verkehr über Hannover geleitet.
Neue Software für die Firewall Engines
2. Versuch 6.10.13 auf 7.0.3 um das problematische Verhalten der Management Console zu studieren
Die Engines der RWTH Firewall erhalten ein Softwareupdate
Von 6.10.13 auf 7.0.3
Erledigt.
Heute 20230916 wurde zwischen 17:45 und 18:30 ein Downgrade der RWTH Firewall auf 6.10.13 angestoßen. Da einige Leute den vorherigen Upgrade (wohl zu recht) bemängelt hatten, wäre es nett zu erfahren, ob die Probleme damit gelöst wurden.
Aufgrund eines memory leaks ist ein Reboot des n7k-lssnord-1 erforderlich. Die Wartung ist ausfallfrei geplant und der Datenverkehr wird in dem Zeitraum über Hannover geroutet.
Aktuell ist das RWTH Netz aufgrund eines Routingproblems nur eingeschränkt erreichbar. Das Routing wurde RWTH seitig bereits geprüft und ist innerhalb RWTH Netzes fehlerfrei. Der Fehler liegt somit außerhalb unseres Einflussbereichs. Dies haben wir bereits gemeldet und nun warten wir auf die Behebung.
Nach vorläufiger Problemanalyse wurde gegen 7:40 Uhr unsererseits ein Workaround implementiert. Dadurch sollte die Außenanbindung der RWTH seitdem aus Kundensicht wieder normal funktionieren.
Mit Unterstützung des DFN konnte Stelle des Paketverlusts aufgefunden werden. Zur Klärung eines Softwarebugs bzw. Hardwareschaden ist ein Reboot des XWiN-Routers n7k-ww10-1 erforderlich. Es sind kürzere Ausfälle möglich.
Regulärer redundanter Betrieb wieder hergestellt.
Am 07.09.2023 ab 16:00 Uhr werden die Supercore und Core-Router an den Standorten Wendlingweg, Seffenterweg, Hörsaalgebäude CARL und LSSNord auf die aktuelle Version geupdatet. Die Update sind störungsfrei geplant.
Die RWTH Firewall erhält ein Update
Von 6.10.12 auf 6.10.13
Done.
Die Firewallengines zum XWiN erhaltern ein Softwareupdate
6.10.10 nach 6.10.12
Wartungsarbeiten an der Leitung nach Frankfurt, die Leitung nach Hannover steht zur Verfügung
Aufgrund eines Fibercuts ist die Leitung nach Hannover ausgefallen. Der Leitungsprovider wurde bereits vom DFN informiert. Die redundante Leitung nach Frankfurt funktioniert hingegen einwandfrei, wodurch es aktuell zu keinerlei Störungen der Netzanbindung kommt.
Software Update für alle Firewalls
6.10.8 auf 6.10.10 6.11.1 auf 6.11.2
Beendet
Die beiden Firewallknoten der RWTH Aussenanbindung erhalten ein Softwareupdate
Von 6.10.7 auf 6.10.8
Done.
Die beiden Firewallknoten der RWTH Aussenanbindung erhalten ein Softwareupdate
Von 6.10.6 auf 6.10.7
Done.
Von den beiden Anschlüssen der RWTH an das deutsche Forschungsnetz ist die Leitung nach Hannover ausgefallen. Der Traffic läuft jetzt ausschliesslich über Frankfurt.
Leitung ist wieder da.
Es wird ein Software-Update auf dem Supercore-Router Standort Wendlingweg eingespielt. Dieser Router ist für die Außenanbindung als auch für die Versorgung der RWTH Core-Router verantwortlich. Es ist geplant das Update ausfallfrei durchzuführen.
Es wird ein Software-Update auf dem Supercore-Router Standort LSSNord eingespielt. Dieser Router ist für die Außenanbindung als auch für die Versorgung der RWTH Core-Router verantwortlich. Es ist geplant das Update ausfallfrei durchzuführen.
Aufgrund eines Softwarefehlers kam es zu einer kurzen Unterbrechung der Uplink-Leitung nach Frankfurt. Für heute Nachmittag ist bereits eine Wartung des Routers für ein Softwareupdate angekündigt.
Seit dem Upgrade der RWTH Firewall Ende Mai steigt dort der Speicherbedarf langsam aber kontinuierlich. Nach einem Absturz Anfang der Woche sowie möglicherweise mit dem wachsenden Speicherbedarf korrelierenden Performanceproblemen, soll ein Downgrade angestossen werden. Unter Umständen kann es zu einer Unterbrechung der Internet Konnektivität kommen, deswegen wird der Downgrade in den frühen Morgenstunden Sa, So oder Mo stattfinden. Sollte es zu einer "ernsthaften" Unterbrechung kommen, ist mit bis zu 40 Minuten zu rechnen.
Downgrade von Software Version 6.11.1 auf 6.10.6
Downgrade ist durch. Warum es zu einem Connectivitätsverlust in der Endphase (07:57-08:09) kam, ist nicht ganz klar. Es wird aber jetzt störungsfreier Betrieb erwartet.
Aufgrund eines regelmäßigen Updates von Signaturen und IP-Adresslisten der zentralen RWTH Firewall kam es zu einem kurzen Ausfall des Internet-Uplinks.
Heute morgen zwischen 9:16 Uhr bis 9:19 Uhr kam es leider zu einem Ausfall unseres Internet-Uplinks. Um 9:12 Uhr ist der erste Knoten der zentralen RWTH Firewall unerwartet durch einen Crash ausgefallen. Der zweite Knoten konnte den Datenverkehr aber ausfallfrei übernehmen. Gegen 9:16 Uhr hat dieser jedoch das packetforwarding eingestellt und ist um 9:19 Uhr ebenfalls gecrasht. Der erste Knoten war zu dem Zeitpunkt wieder verfügbar und konnte somit wieder die Aufgabe übernehmen. Seit 9:22 Uhr sind beide Knoten wieder fehlerfrei online. Der Crash wurde durch ein regelmäßiges Update der Signaturen und IP-Adresslisten verursacht. Ein solches Update findet mehrfach pro Woche statt und wird zum Schutz des RWTH Netzes immer zeitnah eingepielt. Die aktuell fehlerhafte Version haben wir aus dem Update-Prozess entfernt, sodass der Betrieb nun stabil sein sollte.
DIe Firewall Engines erhalten ein Softwareupdate.
Upgrade auf 6.11.1
Durch, aber leider nicht auf fw-dc-*.
Die Firewalls erhalten ein Softwareupdate.
Wechsel von 6.10.5 auf 6.10.6
Erledigt.