Backup und Restore

Derzeit gehen Jobs der genannten Serverplans in den Status "Waiting". Wir arbeiten derzeit an einer Behebung der Störung.

Aufgrund eines technischen Ausfalls im CARL, ist der Serverplan F und das Digitalarchiv nur eingeschränkt verfügbar.
Bei Jobs wird folgende Fehlermeldung ausgegeben:

"Failed to mount the disk media in library [hcpf] with mount path"

Wir arbeiten derzeit an einer Lösung des Problems

Da die Speichersysteme von Serverplan F weiterhin gestört sind, haben wir für Backups auf Serverplan F derzeit bis auf Weiteres ein Blackoutwindow plaziert.

Über das Wochenende sind Jobs ggf. in den Status "Waiting" gegangen.
Fehlermeldung: "Number of active streams for running jobs reaches the limit...."
Wir arbeiten derzeit daran, dass wieder genügend Streams für die Backupjobs zur Verfügugng stehen und die Jobs sobald wie möglich abgearbeitet werden können.

Aufgrund einer dringenden Wartung, muss der DaSi EON Cluster neugstartet werden. Für die Dauer der Wartung steht ServerplanC nicht zur Verfügung.

Aufgrund einer Wartung an den MediaAgenten werden dei laufenden Backupjobs von Serverplan C kurzzeitig angehalten

Für eine kurzfristige Wartung werden alle Jobs von Serverplan C kurzzeitig pausiert.

Im angegebenen Zeitraum kam es zu Problemen auf dem Mediaagenten ma-07, wodurch es zu Unterbrechungen von Jobs von Serverplan B gekommen sein kann.

Derzeit laufen einige Jobs in den Status "Waiting" mit dem Fehler "Enterprise backup capacity license is required to run jobs..."
Wir arbeiten derzeit gemeinsam mit Commvault an einer Behebung des Problems.

Das Problem konnte behoben werden und die Jobs laufen wieder wie gewohnt.

Aufgrund eines Bugs in Commvault muss die Software in der Wartung auf die Version 11.36.72 aktualisiert werden.

Im Rahmen von Performance- und Kapazitätsanalysen wurde festgestellt, dass das automatische Einhalten voreingestellter Aufbewahrungsfristen innerhalb von Commvault in den letzten Monaten nicht durchgängig korrekt funktionierte. Dieses Problem wurde inzwischen behoben.
Infolgedessen werden nun Systeme, die seit mehr als sechs Monaten keine Sicherungen mehr durchgeführt haben – entsprechend der in den Serverplänen definierten Aufbewahrungsfrist (weitere Informationen unter: https:
help.itc.rwth-aachen.de/service/t4ctl3msqrmt/article/e702ab6c5b7545b3b58ff486ec483a50/) – auf den Status „retired“ gesetzt.

Aufgrund von Wartungsarbeiten werden die laufenden Backup-Jobs von Serverplan C kurzzeitig pausiert

Derzeit kommt es auf Serverplan C zu Störungen bei Restores sowie Synthetic Full Backups.
Dabei tritt folgender Fehler auf, wodurch Restores fehlschlagen können:
"...Error occurred in Disk Media, Path [hcpc2/...]
Wir arbeiten aktuell an der Behebung des Problems.
Sollte ein dringender Restore benötigt werden, erstellen Sie bitte ein Ticket über servicedesk@itc.rwth-aachen.de. In diesen Fällen können wir ggf. manuell einen Restore aus einer Sicherheitskopie anstoßen.

Das Problem konnte behoben werden.
Synthteic Fulls und Restores sollten nun wieder ordnungsgemäß auf Serverplan C funktionieren.

Aufgrund eines ausgefallenen Systems im WZL ist der Plan HCPVM01 gegenwärtig nicht verfügbar.
Er wird vorraussichtlich morgen (Donnerstag) wieder in Betrieb gehen.

Betroffen sind nur Synthetic Fulls, welche nicht ordnungsgemäß durchlaufen. Normale Backups sind nicht betroffen. Das Problem sollte heute im Laufe des Tages behoben werden.

Aufgrund von Lastenverteilung gab es eine Änderung der zur Verfügung stehenden Standard-Serverpläne.
Die neuen Standard-Pläne sind Serverplan D und Serverplan E ( vorher C + D )
Clients und Subclients, die bereits auf anderen Serverplänen sichern, sind davon nicht betroffen. Wir bitten Sie ebenfalls den Serverplan von Clients nicht ohne Rücksprache zu wechseln.

Am Dienstag den 11.048.2025 findet von 09:00 - 10:30 Uhr eine geplante Wartung für ein Software-Fix von unserem Commvault System statt.
Während der Wartung steht das Backup-System nicht zur Verfügung. Laufende Jobs werden pausiert und nach der Wartung wieder fortgesetzt.

Die Dienste der MediaAgenten von Serverplan C werden aufgrund einer Störung neugestartet. Laufende Backupjobs auf Serverplan C werden für diese Zeit angehalten.

Derzeit können einige Jobs in den Status "Waiting" springen. Fehlermeldung "The number of writers would exceed the maximum allowed limit." Wir arbeiten derzeit an einer Behebung des Problems.

Aufgrund einer defekten Klimaanlage im EON und steigender Temperaturen, mussten alle Systeme vor Ort heruntergefahren werden, um Hardwareschäden zu vermeiden. Dies betrifft gegenwärtig sämtliche Jobs von Serverplan C. Wir arbeiten derzeit mit Hochruck an einer Lösung des Problems.

Die Klimaanlage konnte wieder in betrieb genommen werden, der Storage-Cluster wurde wieder hochgefahren und die Jobs auf Serverplan C sind wieder reaktiviert werden.
Dadurch, dass diese Nacht keine Jobs auf Serverplan laufen konnten kommt es auf diesem Plan zu einem Stau, der sich über die nächsten 26 Stunden wieder normalisiern wird.

Die Dienste der MediaAgenten von Serverplan B und C werden aufgrund einer Störung neugestartet. Laufende Backupjobs auf Serverplan B und C werden für diese Zeit angehalten.

Zurzeit ist eine Anmeldung über RWTH Single Sign-On nicht möglich.
Bestehende Sessions sind nicht davon betroffen.
Wir arbeiten an der Behebung des Problems.
--English version---

Die Störung wurde behoben.

Die Dienste der MediaAgenten von Serverplan C werden aufgrund einer Störung neugestartet. Laufende Backupjobs auf Serverplan C werden für diese Zeit angehalten.

Am Dienstag den 08.07.2025 werden umfangreiche Wartungen an den DaSi-Systemen durchgeführt. Die Backup- und Restoredienste werden gegen 09:00 Uhr pausiert und sobald wie möglich wieder zur Verfügung gestellt.

Aktuell kommt es aufgrund hoher Systemlauslastung zu Problemen mit Jobs von Serverplan B. Jobs können vorrübergehend in den Status "Waiting" gehen. Typische Meldungung sind "All device streams configured to this Storage Policy including their multiplexing factor are in use"

Es sollten nun wieder genügend Streams vorhanden sein

Im angegeben Zeitraum kam es teilweise zu Störungen des RWTH Single Sign-On. Nach Eingabe der Zugangsdaten lädt der Bildschirm, dann erscheint ein Internal Server Error.
Dies betrifft alle Services, welche den Single Sign-On Login verwenden.
--- English version ---

Die MediaAgenten von Serverplan B werden aufgrund einer Störung neugestartet. Laufende Backupjobs auf Serverplan B werden für diese Zeit angehalten.

Aktuell kommt es zu Störungen des RWTH Single Sign-On. Nach Eingabe der Zugangsdaten lädt der Bildschirm, dann erscheint ein Internal Server Error.
Dies betrifft alle Services, welche den Single Sign-On Login verwenden.
Die zuständige Fachabteilung ist bereits informiert und arbeitet an der Behebung.
--- English version ---

Die Störung konnte behoben werden.
--- English version ---

Leider liegt aktuell eine Störung des Speicherbackends von Serverplan C vor. Dies fürhrt dazu, dass auf diesem Serverplan aktuell leider keine Jobs laufen. Das Problem muss Montagmorgen mit dem Hersteller analysiert und behoben werden.

Auf console2.dasi.rwth-aachen.de wird derzeit ein Versions-Update durchgeführt. Es kann zu kurzer Unterbrechung der Erreichbarkeit führen.

Derzeit laufen sämtliche Synthetic Full Jobs auf Serverplan C nicht.
Auch normale inkrementelle und Full-Jobs können beeinträchtigt sein.
Wir arbeiten derzeit mit Commvault an einer Lösung des Problems.

Die Mountpaths der MediaAgenten sind nun wieder online

In dem Zeitraum wird das Routing der bisherigen XWiN-Router (Nexus 7700) auf die neuen XWiN-Router (Catalyst 9600) umgestellt. Diese Router sind für die Netzverbindung der RWTH unerlässlich. Für diese Umstellung ist auch die Migration der DFN-Anbindung, welche redundant nach Frankfurt und Hannover geschaltet sind, sowie der RWTH-Firewall auf die neuen System erforderlich.
Innerhalb des Wartungsfensters wird es zu Ausfällen oder Teilausfällen der Außenanbindung kommen. Alle Services der RWTH (bspw. VPN, Email, RWTHonline, RWTHmoodle) werden innerhalb dieses Zeitraums nicht zur Verfügung zu stehen. Die Erreichbarkeit von Services innerhalb des RWTH-Netzes ist aufgrund eingeschränkter DNS-Funktionalität zeitweise nicht gegeben.
---english---

Der Uplink nach Frankfurt wurde erfolgreich auf das neue System geschwenkt.

Umbau des Uplinks nach Hannover beginnt.

Uplink nach Hannover auf das neue System umgezogen.

BGP v4/v6 nach Frankfurt und Hannover sind nun über die neue Routern funktional.

Es stehen noch ein paar kleinere Nacharbeiten an.

Wartung ist abgeschlossen. Der Datenverkehr läuft nun vollständig über die neuen Router!

Problematik mit der Anbindung zur Physik identifiziert, Lösung erfolgt morgen früh.

Derzeit laufen sämtliche Jobs auf ServerplanB nicht.
Die Jobs haben den Status "running", aber performen keinen Throughput.
Wir arbeiten derzeit mit Commvault an einer Lösung des Problems.

Durch einen Neustart der MediaAgenten des Serverplan B konnte das Problem vorerst behoben werden. In den nächsten Tagen kann es durch die angestauten Backupjobs noch zu wartenden Jobs auf Serverplan B kommen.

Derzeit schreiten einige Restores nach dem Starten nicht weiter voran. Die Restores bleiben bei 5% stehen.
Typische Fehermeldungen: "Read error on socket from MediaAgent" und "A timeout [1200] seconds expired".
Ein manueller Neustart der Dienste auf den jeweiligen MediaAgenten der RWTH behebt dieses Problem temporär. Sollten Sie also einen hochkritischen Restore mit diesem Fehlerbild haben haben, wenden Sie sich bitte an servicedesk@itc.rwth-aachen.de
Wir arbeiten derzeit gemeinsam mit Commvault an der permanenten Behebung des Problems.

Gegenwärtig scheint das Problem mit den Restores behoben zu sein und diese sollten nun wieder regluär ordnungsgemäß laufen.
Wir beobachten weiter die Situation und geben nächste Woche ein weiteres Update.

Das Problem mit den Restores ist nun behoben.
Diese sollten nun wieder regluär ordnungsgemäß laufen.

Von Samstag den 24.05.2025 ca 23:00 Uhr bis Montag 26.05.2025 10:15 Uhr waren die Speichersysteme des Serverplan D nicht erreichbar. Dadurch kam es zu Verzögerungen und Abbrüchen von Backup-Jobs auf Serverplan D.

Derzeit läuft ein "Space Reclamation Job" auf den Backend-Speichersystemen von Serverplan B, Serverplan D und Serverplan E. Bei Backup-Jobs auf diesen Serverplänen kann es währenddessen zu verzögerten Starts und Performanceabweichungen kommen.

In der angegebenen Zeit findet ein Update unseres MFA-Backends statt. Während dieser Zeit können neue RWTH Single Sign-On Sitzungen mit MFA nicht gestartet werden. Weiterhin sind neue VPN-Sessions nicht möglich. Bestehende Sitzungen (SSO & VPN) bleiben unbeeinträchtigt aktiv.
Aufgrund von fehlenden Policies konnten nicht alle Token gefunden werden und es kam zu Problem bei der Anmeldung.

Aufgrund von Lastverteilungen haben wir heute für neue Clients den ServerplanD wieder für alle freigeschaltet und ServerplanB und ServerplanE gesperrt.

Backups die Serverplan B zugeordnet sind werden, ggf. nicht erfolgreich laufen solange dieses Problem nicht beseitigt ist.
Ursache ist wiederholt volllaufender Arbeitsspeicher der zugehörigen Media-Agents (ma-04, ma-07, ma-09, ma-12).

Backups die Serverplan C zugeordnet sind werden, ggf. nicht erfolgreich laufen solange dieses Problem nicht beseitigt ist.
Ursache ist wiederholt volllaufender Arbeitsspeicher der zugehörigen Media-Agents (ma-05, ma-10, ma-11, ma-15).

Aufgrund Probleme mit den MediaAgents, werden dessen Services heute um 15 Uhr kurz neugestartet.
Laufende Backups und Restores werden kurz pausiert und werden später automatisch fortgesetzt.

Im Zuge der Umstellungen im Speicher-Backend ist es leider erforderlich, für Server mit kleineren Datenmengen ein erneutes Vollbackup durchzuführen.
Diese Backups werden durch uns in den nächsten Tagen angestoßen. Sollte es durch die Backup-Vorgänge zu Einschränkugen auf den Servern kommen dürfen Sie diese Backup-Jobs selbstverständlich beenden.

Bitte beachten Sie, dass der RWTH Single Sign-On (SSO) während der oben genannten Zeit aufgrund geplanter Wartungsarbeiten für wenige Sekunden nicht verfügbar sein wird.
Betroffene Dienste: Alle Anwendungen, die den SSO verwenden.
Auswirkungen: Es können keine neuen Sitzungen gestartet werden und bestehende Sitzungen sind nicht nutzbar. Nutzerinnen und Nutzer in bereits geöffneten Anwendungen können jedoch bis zu ihrem Logout normal weiterarbeiten.
Während der Wartung sehen Sie eine entsprechende Wartungsseite.

Da die Index-Datenbank der MediaAgents Ma-04 und Ma-12 von ServerplanB vollgelaufen sind, sind die Mediaagents offline.
Jobs des Serverplans B laufen normal auf anderen MediaAgents weiter. In einigen Fällen kann es zu entsprechenden Fehlermeldungen kommen.
Gegebenenfalls kann es bei Restore Jobs, die auf die auf die Index-Datenbank der MediaAgents Ma-04 und Ma-12 zugreifen, zu Fehlern oder zu längeren Durchführungszeiten kommen.
Wir arbeiten gemeinsam mit dem Commvault-Support an einer Lösung.

Gegenwärtig kann es auch zu Problemen mit Backups vom ServerplanB kommen.
WIr arbeiten derzeit an einer Lösung des Problems.

Leider konnte das Problem mit den vollgelaufenen IndexDatenbanken auf ServerplanB noch nicht behoben werden.
Bestehende Lösungsansätze von Commvault werden derzeit analysiert. Die Teilstörung besteht weiterhin.
Es kann wie zuvor beschrieben zu Einschränkungen kommen.

Die Indexdatenbanken von ServerplanB sind nun wieder ausreichend freigeräumt.
Weitere Index Load Balancer Jobs werden den Index Speicher auf den Systemen weiter ausgleichen.
Backups und Restores sollten auf ServerplanB nun wieder uneingeschränkt möglich sein.

Am Dienstag den 29.04.2025 findet von 09:00 - 15:00 Uhr eine geplante Wartung für das Update des Commserve auf die Version 11.36.52 statt.
Während der Wartung kann es zu eingeschränkter Verfügbarkeit der Backup-Dienste kommen.

Aufgrund Probleme mit den MediaAgents des ServerplanB, werden kurz die MediaAgenten neugestartet.
Laufende Backups und Restores auf ServerplanB werden kurzzeitig pausiert und laufen anschließend weiter.

Aufgrund einer Wartung des Trafos im VKA und der daraus resultierenden Abschaltung des Stroms, steht der Commvault Service am Mittwoch, dem 9.April 2025 und Freitag, dem 11.April 2025 jeweils von 8:30 Uhr bis 12:00 Uhr nicht zur Verfügung. Laufende Backup- und Restorejobs werden kurzzeitig pausiert und laufen anschließend wieder weiter.

Aufgrund Probleme mit Restores werden kurz die Services der MediaAgenten neugestartet.
Laufende Backups und Restores werden kurzzeitig pausiert und laufen anschließend weiter.

Aufgrund Probleme mit Restores werden kurz die Services der MediaAgenten von ServerplanC neugestartet.
Laufende Backups und Restores auf ServerplanC werden kurzzeitig pausiert und laufen anschließend weiter.

Es finden Anpassungen an der Netzwerkkonfiguration des CommServe statt. Während der Wartungsarbeiten kann es zu Verzögerung laufender Backup-Prozesse kommen. Das Initialisieren von Backup- und Restore-Jobs kann ebenfalls eingeschränkt sein

Es kommt momentan zu Problemen mit dem Login auf Console1 und Console2.
Wir arbeiten derzeit an einer Lösung des Problems.
Die Backup und Restore Prozesse laufen normal weiter.

Das Problem konnte behoben werden.
Der Login sollte nun wieder problemlos möglich sein.

Momentan erleben wir Probleme mit dem Backendspeicher für Serverplan C und Serverplan E.
Es können momentan bei Backup Jobs in den genannten Serverplänen Fehlermedung auftreten.
Wir sind im Kontakt mit dem Hersteller, um das Problem zu lösen.

Zur Behebung einer sicherheitskritischen Lücke der Webserver der Commvault Software wird in dieser Wartung ein Update der Commvault Software auf die Version 11.36.45 durchgeführt.

Das Update auf Version 11.36.46 konnte erfolgreich eingespielt werden. Das System ist damit wieder freigegeben.

Aufgrund einer von Commvault als hoch eingestuften Sicherheitslücke der Webserver der Commvault Software muss bis zur Behebung der Lücke durch Installation eines Hotfixes vorsorglich der Zugriff auf die Webzugänge "console1.dasi.rwth-aachen.de" und "console2.dasi.rwth-aachen.de" per Firewall geblockt werden.
Backupvorgänge der Clients sollten von der Maßnahme nicht betroffen sein.
Die Einspielung des Hotfixes ist in einer Wartung am kommenden Montag ab 9:00 geplant.
Falls kritische Restores benötigt werden können diese im Notfall von uns angestoßen werden.
Wir bitten die Betriebsunterbrechung zu entschuldigen.

Nach erfolgreicher Einspielung der Version 11.36.46 ist die Sicherheitslücke gefixt und das System ist damit wieder zur Nutzung freigegeben.

Momentan kommt es zu Problemen bei Restores. Bei hochkritischen Restores wenden Sie sich bitte an servicedesk@itc.rwth-aachen.de. Wir arbeiten derzeit gemeinsam mit Commvault an einer Lösung.

Durch einen Neustart der MediaAgenten des Commvault-Systems konnten die Probleme behoben werden.

Aufgrund einiger Probleme mit Restores werden die MediaAgenten um 14 Uhr neugestartet.
Laufende Backup und Restore Jobs werden kurzzeitig pausiert und laufen anschleißend weiter.

Derzeit kann es zu Störungen bei Restores kommen. Restores brechen nach einiger Zeit mit der Fehlermeldung "Number of restarts has exceeded the maximum number allowed [10]" ab. Wir arbeiten gemeinsam mit Commvault an einer genauen Einschätzung und Lösung des Problems.

Aufgrund einiger Probleme mit Restores werden die Services aller MediaAgenten um 12 Uhr neugestartet.
Laufende Backup und Restore Jobs werden kurzzeitig pausiert und laufen anschleißend weiter.

Heute Abend kam es gegen ca. 20:25 - 21:00 zu einem Performance-Tief des SSO-Service und wurde innerhalb dieser Zeit von der Fachabteilung geprüft. Das Problem ist behoben und schnelle Logins ohne Wartezeiten sind wieder möglich.
---English---

Am Montag den 10.02.2025 findet ein Zertifikatstausch auf dem Lizenzserver des Backup-Systems ( license.dasi.nrw ) statt. Die Erreichbarkeit des Servers kann kurzzeitig eingeschränkt sein.Die Backup-Jobs werden dadurch nicht beeinflusst werden.

Derzeit kommt es zu Störungen in der Funktion des Passkey-Features:
Es können keine neuen Passkey für Clients konfiguriert werden.
Das Browsing und Restoren von Daten auf Passkey-Clients kann eingeschränkt sein.
Wir arbeiten in Zusammenarbeit mit dem Commvault-Support an einer Lösung.

Heute konnte erfolgreich ein HotFix installiert werden, der das Problem der PassKeys behoben hat.

Hiermit möchten wir sie darüber informieren, dass von uns im Zuge von Verbesserungen der Gesamtsituation im Backup über das Wochenende für einige Server ein Voll-Backupgestartet wird, da diese schon seit längerer Zeit keine synthetische Vollsicherung gemacht haben, was innerhalb von Commvault zu Performanceeinbußen führt.

Aufgrund von Konfigurationsänderungen am Serverplan D werden alle Jobs von Clients auf Serverplan D kurzzeitig angehalten.

Hiermit möchten wir sie darüber informieren, dass von uns im Zuge von Verbesserungen der Gesamtsituation im Backup für einige Server ein Voll-Backupgestartet wird, da diese schon seit längerer Zeit keine synthetische Vollsicherung gemacht haben, was innerhalb von Commvault zu Performanceeinbußen führt.

Aufgrund eines volllaufenden internen Filesystems im Speicherbackend könnte es im Laufe der Nacht dazu kommen, dass Backups von den Serverplänen B und D zum Stillstand kommen. Es wurden alle freien Reservern konfifiguriert um die Situation abzuwenden, es kann aber je nach Wachstum dennoch zu Problemen kommen.

Im Zuge von notwendigen Konfigurationsänderungen wurden heute um 14:58 Uhr versehentlich alle laufenden Backup- und Restorejobs beendet. Alle geplanten Backup-Jobs werden heute um 18:00 Uhr wieder starten. Es wir gerade an dem erneuten Starten aller dadurch beendeten Restores gearbeitet. Über den Button "Resubmit" in den Job-Details können Sie Ihren Restore Job jederzeit selber neustarten.

Aktuell kommt es zu einer Überbelegung von Stream zur Abbarbeitung von Jobs innerhalb von Commvault. Dies führt eider zu Verzögerungen in der Durchführung der Jobs und zu Meldungen der Form "Number of active streams for running jobs reaches the limit" oder "All device streams configured to this Storage Policy including their multiplexing factor are in use". Wir stehen bereits in Kontakt zu Commvault um dieses problem zu analysieren und zu beheben.

Die Situation konnte in Zusammenarbeit mit dem Support von Commvault deutlich verbessert werden, auch wenn die eigentliche Urache noch in der Analyse ist. Im Laufe des Tages haben wir keine weiteren überlasteten Serverpläne mehr gesehen, so dass der Status auf "Hinweis" herabgesetzt wird.

Mit dem Update des CommServe auf Commvault Version 11.36 am Dienstag den 7.1.25 wurde dieses Problem behoben

Am Dienstag den 07.01.2025 zwischen 09:00 und 17:00 Uhr findet eine allgemeine Wartung der DASI-Systeme statt. Während der Wartung ist die Verfügbarkeit/Funktionalität folgender Dienste eingeschränkt:
- Zugriff auf console1.dasi.rwth-aachen.de und console2.dasi.rwth-aachen.de
- Starten von Backup- und Restorejobs
- Laufende Backup- und Restorejobs werden ggf. pausiert
Während der Wartung findet eine Update des CommServe auf Version 11.36 statt. Außerdem werden die Speichersysteme am Standort EON ( Serverplan C ) für den Tausch einer PDU zeitweise vollständig heruntergefahren

Sämtliche Wartungsarbeiten am Commvault Backup System wurden heute erfolgreich fertiggestellt.
Das Commvault System läuft nun mit der Version 11.36.38.

Bei den Jobs der Serverpläne C und E kommt es teilweise zu Fehlermeldungen der folgenden Art: "Failed to mount the disk media in library [hcpd] with mount path [hcpd] on MediaAgent [ma-xx.dasi.rwth-aachen.de]." oder "Error occurred in Disk Media, Path [hcpe/xxxxxxx] [[Cloud] There is a slow down error.]. "
Die zugehörigen Meidaagenten wurden in den Maintenace Mode versetzt um diese neuzustarten.

Der Neustart der Meidaagenten hat das Problem leider nicht beheben können. Der Hersteller wurde kontaktiert mit der Bitte nach der Ursache zu schauen.

Leider dauert die Analyse des Hersteller noch an, so dass die Probleme weiter bestehen.

Die HCP Cluster der Serverpläne C und E konnten durch den Hersteller wieder reaktiviert werden und die Jobs dieser Pläne sollten nun wieder laufen.
Wir bitten die Unannehmlichkeiten zu entschuldigen und wünschen allen Nutzerinnen und Nutzern ein frohes neues Jahr.

Auf den Speichersystemen am Standort CARL werden neue Zertifikate eingespielt. Dies betrifft ausschließlich Serverplan F und sollte keine Auswirkungen auf den laufenden Backup-Betrieb haben.

Aufgrund von Problemen mit der Klimaanlage an einem Standort ist der Serverplan C aktuell gestört. An einer Entstörung wird bereits gearbeitet.

Der Serverplan C konnte wieder freigegeben werden.

Zurzeit ist der Single Sign-On und die Multifaktorauthentifizierung sporadisch gestört. Wir arbeiten bereits an einer Lösung und bitten um Geduld.
---english---

Derzeit kann es auf allen Serverplänen zur Beeinträchtung und Störung von Restores und Synthetic Full Backups kommen. Grund dafür sind nicht verfügbare Datensätze auf den Backup-Speichersystemen. Es wird derzeit mit dem Hardwarehersteller Hitachi nach der Ursache gesucht.

Gestern konnte erfolgreich der Re-Build Prozess auf den HCP Clustern, welcher die Datensätze wiederherstellt, erfolgreich beendet werden. Restores und Synthetic Fulls sollten nun wieder störungsfrei möglich sein.

Durch den Stromausfall am 15.11 sind die Storagesysteme an zwei Standorten aktuell nicht erreichbar. Dazu kommt es zu Problemen bei der Nutzung der Sereverpläne C und E.

Es kommt auch zu Problemen bei Serverplan F.

Wir konnten heute im Laufe des Tages erfolgreich die S31-Speichersysteme in den Standorten Eon und VKA neustarten.
Auf einer S31 im Eon läuft gegenwärtig noch ein Re-Build Prozess, um durch den Ausfall entstandene Fehler zu korrigieren.
Aus diesem Grund steht der Serverplan C noch voraussichtlich bis morgen Vormittag nicht zu Verfügung.
Der Serverplan E jedoch steht nun wieder zu Verfügung und sollte ohne Probleme nutzbar sein.
Im Carl sind diverse Systeme noch weiterhin offline. Dies betrifft jedoch nur Serverplan F, welcher noch nicht genutzt wird.
Wir machen morgen hier weiter und geben gegebenenfalls Serverplan C wieder frei.

Aktuell laufen die Arbeiten an einer HCP an einem Standort. Dieser liegt der Serverplan C zugrunde und ist folglich noch gestört. Gemeinsam mit dem Hardware-Hersteller wird intensiv an der Behebung gearbeitet.

Der Serverplan C ist wieder freigegeben. Allerdings kann es bei Synthetic Full Backups und Restores noch zu zu Fehlern kommen. Reguläre Backups (inkrementell) sollten über Serverplan C jedoch wieder eingeliefert werden.

Aufgrund einer Störung werden die Dienste auf dem Backupserver commserve1 neugestartet. Dadurch müssen alle laufenden Backupjobs pausiert werden. Währenddessen können keine neuen Backupjobs gestartet werden. Die Erreichbarkeit von console1.dasi.rwth-aachen.de ist davon unberührt.

Aufgrund einer einer Wartung auf der CommCell wird diese um 14:45 Uhr neugestartet.
Ab 14:30 Uhr wird der Dienst nicht oder nur teilweise für ca. 1 Stunde erreichbar sein.

Aufgrund einer Störung der der CommCell wird diese neugestartet.
Innerhalb der nächsten halben Stunde wird der Dienst nicht oder nur teilweise erreichbar sein.

Um einige wichtige Updates und Fixes auf den Commvault-Systemen zu installieren wird es ein Blackoutwindow im Commvault System geben. Laufende Backup- und Restore-Prozesse werden in der Regel automatisch pausiert und wieder fortgesetzt. In dem Zeitraum der Wartung werden die DaSi-Systeme für Nutzer temporär nicht erreichbar sein.

Für eine kurze zeit gab es einen Fehler bei der Anmeldung über RWTH Single Sign-On kommen:
Internal Server Error
Das Problem konnte behoben werden.
---English---

Aktuell kommt es zu Problemen im Backup System, weshalb gegenwärtig keine Backups laufen.
Wir arbeiten derzeit mit Hochdruck an der Lösung des Problems.

Das Problem konnte gelöst werden und Backups sollten um 18:00 wieder anlaufen.

Um einige wichtige Updates und Fixes auf den Commvault-Systemen zu installieren wird es ein Blackoutwindow im Commvault System geben. Laufende Backup- und Restore-Prozesse werden in der Regel automatisch pausiert und wieder fortgesetzt. In dem Zeitraum der Wartung werden die DaSi-Systeme für Nutzer temporär nicht erreichbar sein.

Aufgrund von dem abgelaufenen Zertifikat für idm.rwth-aachen.de können keine IdM-Anwendungen und die Anwendungen, die über RWTH Single Sign-On angebunden sind, aufgerufen werden.
- Beim Aufrufen von IdM-Anwendungen wird eine Meldung zur unsicheren Verbindung angezeigt.
- Beim Aufrufen von Anwendungen mit dem Zugang über RWTH Single Sign-On wird eine Meldung zu fehlenden Berechtigungen angezeigt.
Wir arbeiten mit Hochdruck an der Lösung des Problems.
--- English ---

Das Zertifikat wurde aktualisiert und die Anwendungen können wieder aufgerufen werden. Bitte löschen Sie den Browsercache, bevor Sie die Seiten wieder aufrufen.

Aufgrund einer Störung der der CommCell wird diese neugestartet.
Innerhalb der nächsten halben Stunde wird der Dienst nicht oder nur teilweise erreichbar sein.

Aufgrund einer Störung der der CommCell wird diese neugestartet.
Innerhalb der nächsten halben Stunde wird der Dienst nicht oder nur teilweise erreichbar sein.

Der Neustart wurde erfolgreich durchgeführt.
Alle Commvault Dienste sollten nun wieder einwandfrei funktionieren.

Aktuell sind die Reaktionszeiten von console1 und console2 sehr langsam. Die Analyse läuft bereits und wir hoffen, dass das Problem schnell behoben werden kann.
Backups sollten von dem Problem nicht betroffen sein.

Aufgrund einer Störung der MongoDB Datenbank des CommCell wird dieser neugestartet.
Innerhalb der nächsten halben Stunde wird der Dienst nicht oder nur teilweise erreichbar sein.

Um 10:00 wird es eine Reparatur und Neustart der MogoDB auf dem CommServe geben. Dadurch wird die Erreichabrkeit von console1.dasi.rwth-aachen.de und console2.dasi.rwth-aachen.de beeinträchtigt.
Wir erwarten eine Beeinträchtigung von unter 5 Minuten.

Aufgrund einer Störung des DNS liefern die Nameserver verschiedener Provider aktuell keine IP-Adresse für Hosts unter *.rwth-aachen.de zurück.
Als Workaround können Sie alternative DNS-Server in Ihren Verbindungseinstellungen hinterlegen, wie z.B. die Level3-Nameserver (4.2.2.2 und 4.2.2.1) oder von Comodo (8.26.56.26 und 8.20.247.20). Ggf ist es auch möglich den VPN-Server der RWTH zu erreichen, dann nutzen Sie bitte VPN.

Anleitungen zur Konfiguration eines alternativen DNS-Server unter Windows finden Sie über die folgenden Links:
https:
www.ionos.de/digitalguide/server/konfiguration/windows-11-dns-aendern/
https:
www.netzwelt.de/galerie/25894-dns-einstellungen-windows-10-11-aendern.html
Als Alternative können Sie auch VPN nutzen. Wenn Sie den VPN-Server nicht erreichen, können Sie nach der folgenden Anleitung die Host-Datei unter Windows anpassen. Dadurch kann der Server vpn.rwth-aachen.de erreicht werden. Dazu muss der folgenden Eintrag hinzugefügt werden:
134.130.5.231 vpn.rwth-aachen.de
https:
www.windows-faq.de/2022/10/04/windows-11-hosts-datei-bearbeiten/

Die Host der RWTH Aachen sind nun wieder auch von ausserhalb des RWTH Netzwerkes erreichbar.

Auch nach der Störungsbehebung am 25.8. um 21 Uhr kann es bei einzelnen Nutzer*innen zu Problemen gekommen sein. Am 26.8. um 9 Uhr wurden alle Nacharbeiten abgeschlossen, sodass es zu keinen weiteren Problemen kommen sollte.

Um einige wichtige Updates und Fixes auf den Commvault-Systemen zu installieren wird es ein kurzfristiges Blackoutwindow Commvault System geben. Laufende Backup- und Restore-Prozesse werden in der Regel automatisch pausiert und wieder fortgesetzt. In dem Zeitraum der Wartung werden die DaSi-Systeme für Nutzer temporär nicht erreichbar sein.

Derzeit kommt es zu Problemen mit den Backend-Speichersystemen.
Dadurch kommt es zu Störungen bei laufenden Backup-Jobs. Restores können ebenfalls betroffen sein.
Wir arbeiten derzeit mit unserem Hardware-Vendor Hitachi an einer Lösung.

Aufgrund von Replikationsproblemen auf den Speichersystemen kann es zur Verzögerungen beim Abarbeiten der Backup-Jobs kommen.

Die Replikationsprobleme konnten inzwischen gelöst werden, so dass die Backups wieder normal abgearbeitet werden.

Momentan ist die Anmeldung auf der console1.dasi.rwth-aachen.de gestört.
Als alternative Login-Möglichkeit kann die console2.dasi.rwth-aachen.de verwendet werden.
Backup und Restore Jobs laufen ohne Probleme weiter.

Die console1.dasi.rwth-aachen.de ist nun wieder verfügbar.

Während der Teilwartung am Dienstag, dem 30.Juli 2024, werden die IndexDatenbanken des MediaAgents Ma-12 rekonfiguriert.
Aus diesem Grund stehen Backup und Restores auf dem Serverplan B im Zeitraum zwischen 11:00 Uhr und 13:00 Uhr nicht zur Verfügung.
Laufende Backup- und Restore-Prozesse werden in der Regel automatisch pausiert und wieder fortgesetzt.

Die console1.dasi.rwth-aachen.de ist nun wieder verfügbar.

Derzeit kommt es zu Störungen bei den Serverplänen E und F. Der Speichersysteme der Serverpläne Für Clients, die diese Serverpläne ausgewählt haben, werden laufende Jobs pausiert und geplante Jobs verschoben.
Wir arbeiten derzeit zusammen mit Hitachi an einer Lösung.

Serverplan E ist wieder störungsfrei

Serverplan F ist nun auch wieder störungsfrei

Update der Switche für die DASI-Infrastruktur.
Die Switche werden im HA-Verbund rebootet, dabei sollte es zur keiner Unterbrechung der Services kommen

Momentan ist die Anmeldung auf der Console1.dasi.rwth-aachen.de gestörrt.
Als alternative Login-Möglichkeit kann die Console2.dasi.rwth-aachen.de verwendet werden.
Backup und Restore Jobs laufen ohne Probleme weiter.

Die console1.dasi.rwth-aachen.de ist nun wieder verfügbar.

Seit dem 2. Juli 2024 ist der RWTH Single Sign-On (SSO) und hiermit der Login aller SSO-angebundener Services mit einer Multifaktor-Authentifizierung geschützt. Nutzende müssen neben einem individuellen Kennwort von nun an einen weiteren Sicherheitsfaktor beim Login angeben. Den zweiten Faktor müssen Sie im Selfservice [1] über den Tokenmanager generieren. Weitere Informationen finden Sie auf IT Center Help [2] und dem IT Center Blog [3].
---english version---

Während der Teilwartung wird die Keycloak Anbindung der neuen Console1 durchgeführt.
Während dieser Zeit laufen alle Backups und Restores ohne EInschränkungen weiter.
Die Console1 und Console2 stehen während dieser Zeit jedoch nicht zur Verfügung.

Da die Index-Datenbank des Mediaservers Ma-12 vollgelaufen ist, ist der Mediaagent offline.
Jobs des Serverplans B laufen normal auf anderen MediaAgents weiter.
In einigen Fällen kann es zu entsprechenden Fehlermeldungen kommen.
Gegebenenfalls kann es bei Restore Jobs, die auf die auf die Index-Datenbank des Mediaagents Ma-12 zugreifen zu Fehlern oder zu längeren Durchführungszeiten kommen.
Wir arbeiten gemeinsam mit dem Commvault-Support an einer Lösung.

Das Problem wurde leider noch immer nicht behoben.
WIr arbeiten derzeit schnellstmöflich an einer Lösung des Problems.

Leider konnte die Index Datenbank durch den Load Balancing Prozess bisher noch nicht wieder freigeräumt werden.
Der Prozess wird vorraussichtlich bis Montag, dem 8.Juli andauern.

Für die ursprünglich am 25.06.2024 geplante Wartung wurde ein neuer Termin angesetzt.
Im angegebenen Zeitraum wird das System console1.dasi.rwth-aachen.de mit einem neuen Betriebssystem auf neuer virtueller Hardware neu aufgesetzt.
Laufende Backup- und Restore-Prozesse werden in der Regel automatisch pausiert und wieder fortgesetzt.
In dem Zeitraum der Wartung werden die DaSi-Systeme für Nutzer temporär nicht erreichbar sein.

Aktuell ist der Login über den RWTH Single Sign-On und somit in die dahinter eingebundenen Services leider nur in Einzelfällen erfolgreich.
Bitte versuchen Sie im Falle einer Fehlermeldung den Login in ca. einer Stunde erneut.
Personen, die bereits erfolgreich eingeloggt sind, sind von der Störung nicht betroffen.
--English Version--

Die Server sind aktuell ausgelastet. Wir bitten Sie deshlab weiterhin, den Login erst zu einem späteren Zeitpunkt (ca. in einer Stunde) zu versuchen. Wir arbeiten an einer nachhaltigen Lösung des Problems.

Durch diverse Maßnahmen, die insgesamt die Performanz der Server deutlich erhöhen haben, wurden die Ladeschwierigkeiten und Loginprobleme gegen 15 Uhr behoben.
Die Meldung bleibt vorerst als Hinweis bestehen, da wir die Last des Systems weiterhin beobachten.

Der Login in den RWTH Single Sign-On ist stabilisiert. Aus dem Grund beenden wir den Hinweis.

Aufgrund einer Störung des Serverplans B werden die MediaAgents Ma-04, Ma-07, Ma-09 und Ma-12 neugestartet.
Nach dem Neustart sollten alle Jobs betrffend des Serverplan B wieder ordnungsgemäß laufen.

Im angegebenen Zeitraum wird das System console1.dasi.rwth-aachen.de mit einem neuen Betriebssystem auf neuer virtueller Hardware neu aufgesetzt.
Laufende Backup- und Restore-Prozesse werden in der Regel automatisch pausiert und wieder fortgesetzt.
In dem Zeitraum der Wartung werden die DaSi-Systeme für Nutzer temporär nicht erreichbar sein.

Aufgrund eines Softwareupdates, der S31-Libarys im Kop6, kann es gegebenenfalls zwischen 12:00 und 14:00 zu einer Pausierung der Backup- und Restore Prozesse kommen.
Diese werden anschließend wieder fortgesetzt.

Wegen eines wichtigen Software-Updates steht kurzzeitig die Console1.dasi.rwth-aachen.de nicht zu Verfügung.
Als alternative Login-Möglichkeit kann die Console2.dasi.rwth-aachen.de verwendet werden.
Auf laufende Backup- und Restore-Prozesse sollte diese Teilwartung keinen Einfluss haben.

Leider ist auch die alternative Login-Möglichkeit über die Console2.dasi.rwth-aachen.de betroffen.
Ein Login auf die Commvault Oberfläche ist daher im Zeitraum der Wartung nicht möglich.

Wir konnten das Software-Update auf der Console1 erfolgreich durchführen.
Jedoch ist der Login auf der Console1 leider noch immer nicht möglich.
Allerdings funktioniert der alternative Login über die Console2 wieder.
Wir bitten daher für den Zeitraum der Wartung den Login über die Console2.dasi.rwth-aachen.de zu verwenden.

Im angegebenen Zeitraum wird das Systeme console2.dasi.rwth-aachen.de mit einem neuen Betriebssystem auf neuer virtueller Hardware neu aufgesetzt.

Neustart der Commcell.
Aktuell kommt es zu einem Problem in der Commcell, so dass die Services auf dem System neugestartet werden müssen.

Im Zuge dieser Störung haben wir die Commserve1 neustarten müssen, wodurch die Störung behoben wurde.
Alle Backup-Jobs sollten nun wieder ordnungsgemäß durchlaufen.

Aktuell kommt es zu einem Problem in der Commcell, so dass die Services auf dem System neugestartet werden müssen

Der Neustart der Services hat leider nicht funktioniert, so dass der Server komplett rebootet werden muss.

Der Neustart des Servers hat die Probleme gelöst und die Backups laufen wieder.
Wir bitten die Störung zu entschuldigen.

Aufgrund eines abgelaufenen Serverzertifikats auf dem Keycloak ist momentan die Anmeldung auf der console1.dasi.rwth-aachen.de gestört.
An einer Ĺösung wir bereits gearbeitet. Backupjobs sind von der Störung nicht betroffen und die Sicherungen laufen wie geplant weiter.

Das Zertifikat wurde bisher noch nicht ausgestellt. Deswegen haben wir den Zeitraum der Teilstörung verlängert.

Neues Zertifikat wurde eingespielt.

In dieser kurzfristigen Wartung werden im Commvault System die Cloud Access Pfade angepasst, um die System Performance zu verbessern.
Laufende Backup- und Restore-Prozesse werden in der Regel automatisch pausiert und wieder fortgesetzt.
In dem Zeitraum der Wartung werden die DaSi-Systeme für Nutzer temporär nicht erreichbar sein.

Um einige wichtige Updates und Fixes auf den Commvault-Systemen zu installieren wird es ein kurzfristiges Blackoutwindow Commvault System geben. Laufende Backup- und Restore-Prozesse werden in der Regel automatisch pausiert und wieder fortgesetzt. In dem Zeitraum der Wartung werden die DaSi-Systeme für Nutzer temporär nicht erreichbar sein.

Aktuell gibt es Probleme mit der Anmeldung an Console1.dasi.rwth-aachen.de für RWTH Backup-Admins
An einer Ĺösung wir bereits gearbeitet.
Backupjobs sind von der Störung nicht betroffen.
Die Sicherungen laufen wie geplant weiter.
***English Version***

Störung wurde behoben

Aktuell kommt es im Backup-System zu deutlichen Verzögerungen in der Abarbeitung der Backup- und Restore-Jobs.
Commvault ist bereits an der Analyse des Problems und wir hoffen auf eine Lösung des Problems im Laufe des Nachmittags.

Leider konnte das Problem auch weiterhin nicht behoben werden.
Wir hoffen auf eine Lösung bis heute Abend.

Leider konnte das Problem heute nicht mehr behoben werden.
Wir hoffen, das Problem bis einschließlich Montag zu beheben.
Wir bitten entstandene Unannehmlichkeiten zu entschuldigen.

Die Situation hat sich inzwischen wieder stabilisiert. Die blockierenden Prozesse konnten beendet werden und die Backups laufen wieder.

Es findet in der angegebenen Zeit eine Wartung des Keycloak Servers für Commvault statt, so dass in dieser Zeit keine Anmeldung an der Webkonsole von Commvault möglich ist. Backups laufen wie gewohnt weiter.

Wegen einer wichtigen Hardware-Wartung unseres Speicher-Backends im Kop6 wird es ein kurzfristiges Blackoutwindow im Commvault System geben.
Laufende Backup- und Restore-Prozesse werden in der Regel automatisch pausiert und wieder fortgesetzt.
In dem Zeitraum der Wartung werden die DaSi-Systeme für Nutzer temporär nicht erreichbar sein.

Leider verzögern sich die Harwarearbeiten im Storagesystem, sodass die Hardwarewartung verlängert werden muss.

Bedauerlicherweise verzögern sich die Hardwarearbeiten weiterhin. Wir bitten den Ausfall zu entschuldigen. Wir hoffen, dass bis 21 Uhr die Arbeiten abgeschlossen sind.

Die Komplikationen bei der Hardwarewartung konnten heute leider nicht abgeschlossen werden, so dass die Arbeiten orgen früh fortgeführt werden müssen. Das Wartungsfenster wurde daher bis Morgen 11:00 verlängert.

Leider konnten die Reparaturen am Storage System noch nicht abgeschlossen werden. Um den Backup Betrieb nicht weiter zu behindern wurde das Blackout Window dennoch geschlossen, sodass die Sicherungen der Clients jetzt wieder möglich sein sollten.
Da das besagte Storage System noch nicht verfügbar ist, kann es bei Restores zu Fehlermeldungen bzgl. nicht verfügbarer Objekte kommen.
An der Reparatur des Storage Systems wird weiter mit Hochdruck gearbeitet.
Wir bitten die Unanehmlichkeiten zu entschuldigen.

Leider ließen sich die Probleme am Storage System bisher noch nicht beheben, aufgrund weiterer Komplikationen.
Das Ticket dazu wurde auf internationalen Sev 1 Level angehoben und hat damit höchste Priorität beim internationalen Support.
An der Reparatur des Storage Systems wird weiter mit Hochdruck gearbeitet.
Das Sichern der Clients ist weiterhin gewährleistet.
Allerdings kann es bei Restores auch weiterhin zu Fehlermeldungen bzgl. nicht verfügbarer Objekte kommen, da das Storage System noch nicht wieder verfügbar ist.
Wir bitten die Unanehmlichkeiten und die weitere Verzögerung zu entschuldigen.

Die Probleme am dem Storage System wurden heute behoben und das System ist nun wieder Read/Write fähig.
Die Restores sollten nun wieder ordnungsgemäß funktionieren.
Wir bitten die entstandenen Unanehmlichkeiten und Verzögerungen zu entschuldigen.

Um einige wichtige Updates und Fixes auf den Commvault-Systemen zu installieren wird es ein kurzfristiges Blackoutwindow Commvault System geben. Laufende Backup- und Restore-Prozesse werden in der Regel automatisch pausiert und wieder fortgesetzt. In dem Zeitraum der Wartung werden die DaSi-Systeme für Nutzer temporär nicht erreichbar sein.

Aktuell gibt es Verbindungsprobleme mit dem Backup-Portal. Wir arbeiten bereits an einer Lösung.
---english---

Die Störung wurde behoben.
---english---

Um einige wichtige Updates und Fixes auf den Commvault-Systemen zu installieren wird es ein kurzfristiges Blackoutwindow Commvault System geben. Laufende Backup- und Restore-Prozesse werden in der Regel automatisch pausiert und wieder fortgesetzt. In dem Zeitraum der Wartung werden die DaSi-Systeme für Nutzer temporär nicht erreichbar sein.