Am Dienstag, den 15. Juli 2025, war die Erreichbarkeit von HiOrg-Server gestört. Die Ursache lag jedoch nicht bei HiOrg-Server selbst, sondern in der Infrastruktur unseres Rechenzentrums Hetzner.
Was war die Ursache?
Der Auslöser des Ausfalls lag in der Infrastruktur unseres Rechenzentrums Hetzner. Dort kam es zu einer massiven Störung im Bereich der sogenannten Loadbalancer. Das sind virtuelle Maschinen, die den Datenverkehr aus dem Internet zu den jeweiligen Servern leiten. Bildlich gesprochen: Die „Tür ins Rechenzentrum“ blieb plötzlich verschlossen. Grund dafür war ein unerwarteter Neustart mehrerer dieser Systeme.
Unsere eigenen Systeme (inklusive HiOrg-Server und alle Datenbanken) liefen währenddessen stabil und fehlerfrei. Es handelte sich also um ein reines Zugangsproblem von außen.
Warum dauerte es länger als erwartet?
Die Art der Störung ließ zunächst auf eine schnell behebbare Ursache schließen. Daher haben wir bewusst davon abgesehen, unmittelbar eine alternative Infrastrukturlösung in Gang zu setzen. Diese hätte unter Umständen eine vollständige Datenmigration mit sich gebracht und in der Folge eine längere geplante Downtime beim späteren Wechsel zurück zum Normalbetrieb erfordert.
Leider stellte sich im Verlauf heraus, dass sowohl das Ausmaß als auch die Behebung komplexer waren als anfangs kommuniziert. Auch von Hetzner selbst erfolgte nur spärliche Information in längeren Zeitabständen. Erst um 13:49 Uhr wurde die vollständige Wiederherstellung der Loadbalancer-Funktion offiziell bestätigt.
Auch wenn der Ursprung der Störung außerhalb unseres direkten Einflussbereichs lag, nehmen wir die Situation sehr ernst. Gemeinsam mit unserem Hosting-Partner Ayedo prüfen wir aktuell, welche zusätzlichen Redundanzen künftig implementiert werden können, um vergleichbare Situationen in Zukunft besser abzufedern.
Wir wissen, wie wichtig ein stabiler Service für euch ist, besonders im Einsatz- und Arbeitsalltag. Wir entschuldigen uns für die Unannehmlichkeiten, die euch möglicherweise durch diese Unterbrechung entstanden sind.
Euer Vertrauen ist uns sehr wichtig, deshalb setzen wir alles daran, die Verfügbarkeit und Zuverlässigkeit von HiOrg-Server weiterhin auf höchstem Niveau sicherzustellen.
[Behoben] Aktuelle Störung – Statusupdate
Derzeit ist die Erreichbarkeit von HiOrg-Server gestört, aufgrund von Problemen im Bereich der Loadbalancer unseres Rechenzentrums Hetzner.
Die Techniker bei Hetzner arbeiten mit Hochdruck daran, die Ursache der Störung zu analysieren und zu beheben.
Aufgrund unserer redundaten Datenbank sowie der mehrstufigen Backup-Strategie rechnen wir nicht mit einem Datenverlust.
Sobald uns weitere Informationen vorliegen (z.B. auch eine Schätzung, wann die Störung behoben sein wird), werden wir dies hier als Update veröffentlichen.
Update 09:31 Uhr: Hetzner hat in einer Statusmeldung die o.g. vermutete Ursache bestätigt
Update 10:03 Uhr: Hetzner meldet, dass das „Verhalten behoben“ sei, und alle Loadbalancer nun den Betrieb wieder aufnehmen werden (dies kann einige Zeit dauern, da es sehr viele LB sind). Die Ursache wird weiter analysiert.
Update 10:41 Uhr: Hetzner schreibt, die Funktion aller Loadbalancer sei wiederhergestellt. HiOrg-Server ist weiterhin nicht erreichbar, wir rechnen aber mit einer Rückkehr zum Normalbetrieb in den nächsten Minuten.
Update 11:05 Uhr: Hetzner schreibt: „Einige der Load Balancer sind noch nicht wiederhergestellt. Wir werden dieses Problem in Kürze beheben.„
Update 12:25 Uhr: Unsere Kollegen von Ayedo berichten, dass einige LB bei anderen Kunden inzwischen wieder online sind.
Update 13:49 Uhr: Die Störung ist (endlich) behoben.
Wir entschuldigen uns für die Ihnen evtl. entstandenen Unannehmlichkeiten.
*
