[Behoben]: Störung der Erreichbarkeit 26.03.23 nach 19 Uhr

Am Abend des 26.03.2023 war die Erreichbarkeit von HiOrg-Server gestört. Das Problem wurde gegen 21:30 Uhr vollständig behoben, ein Datenverlust konnte vermieden werden.

Am gestrigen Sonntag, den 26.03.2023 wurden ab 19 Uhr geplante Wartungsarbeiten an der Datenbank des HiOrg-Servers durchgeführt. Ursprünglich waren diese so geplant, dass die Nutzung des HiOrg-Servers nicht beeinträchtigt werden sollte.

Gegen 19:07 trat dabei leider ein unvorhergesehener Fehler in der Datenbank-Konsistenz auf, welcher zunächst zu einer Störung der Erreichbarkeit (für wenige Minuten) führte. Die Datenbank-Wartung wurde umgehend unterbrochen, und ein Readonly-Modus in der gesamten Anwendung geschaltet, um den Zustand der Datenbank einzufrieren. Bei der nachfolgenden Analyse mussten wir feststellen, dass zahlreiche Einträge in den Dienste- und Kurse-Tabellen fehlten. Daher wurde der Entschluss gefasst, die inkonsistente Datenbank zu verwerfen und das fehlerfreie Komplett-Backup von 19:02 Uhr einzuspielen.

Im Rahmen dieser Wiederherstellungs-Arbeiten verblieb das Gesamtsystem bis 20:40 (insgesamt ca. 90 Minuten) im Read-Only-Modus, und war danach für das Einspielen der Datenbank komplett im Wartungsmodus nicht erreichbar bis ca. 21:30 Uhr (50 Minuten).

Durch das rasche Erkennen des Fehlers konnte ein Datenverlust verhindert werden. Trotzdem bedauern wir die ungeplante Einschränkung der Erreichbarkeit, und entschuldigen uns bei allen Nutzern für eventuelle Unannehmlichkeiten.
Die Ursache der Störung wird noch weitergehend analysiert, außerdem arbeiten wir bereits an einer Änderung der Datenbank-Architektur, damit ähnliche Fehler künftig weitestgehend ausgeschlossen sind.

Nachtrag 28.03.23: Inzwischen haben uns einige Anfragen von Nutzern der Mobile-Apps erreicht, die sich nach der Downtime nicht mehr bei der App anmelden können. Unser Tipp dazu: wählen Sie die Option „Konto entfernen“ und melden sich dann neu bei der App an.