Schlagwortarchiv für: Systemstatus

Aktuelle Performance des Systems

Leider kam es gestern (11.09.2024) im Lauf des Tages bei HiOrg-Server zu Performance-Problemen. Einige von euch haben möglicherweise eine langsame Reaktionszeit oder Schwierigkeiten bei der Erreichbarkeit des Systems bemerkt. Wir verstehen, wie frustrierend das sein kann und entschuldigen uns aufrichtig für die Unannehmlichkeiten.

Aktuell ist die Situation stabil, jedoch ist unsere Analyse noch nicht abgeschlossen. Wir arbeiten mit Hochdruck daran, die Ursache zu identifizieren und sicherzustellen, dass solche Probleme in Zukunft vermieden werden.

Vielen Dank für euer Verständnis und eure Geduld. Wir halten euch weiterhin auf dem Laufenden und informieren euch hier, sobald wir mehr wissen.

/0 Kommentare

[Behoben]: Störung der Erreichbarkeit 26.03.23 nach 19 Uhr

,
Die Zeiten ändern sich… Dieser Beitrag wurde vor über 3 Jahren erstellt. Der Inhalt könnte daher veraltet sein.

Am Abend des 26.03.2023 war die Erreichbarkeit von HiOrg-Server gestört. Das Problem wurde gegen 21:30 Uhr vollständig behoben, ein Datenverlust konnte vermieden werden.

Am gestrigen Sonntag, den 26.03.2023 wurden ab 19 Uhr geplante Wartungsarbeiten an der Datenbank des HiOrg-Servers durchgeführt. Ursprünglich waren diese so geplant, dass die Nutzung des HiOrg-Servers nicht beeinträchtigt werden sollte.

Gegen 19:07 trat dabei leider ein unvorhergesehener Fehler in der Datenbank-Konsistenz auf, welcher zunächst zu einer Störung der Erreichbarkeit (für wenige Minuten) führte. Die Datenbank-Wartung wurde umgehend unterbrochen, und ein Readonly-Modus in der gesamten Anwendung geschaltet, um den Zustand der Datenbank einzufrieren. Bei der nachfolgenden Analyse mussten wir feststellen, dass zahlreiche Einträge in den Dienste- und Kurse-Tabellen fehlten. Daher wurde der Entschluss gefasst, die inkonsistente Datenbank zu verwerfen und das fehlerfreie Komplett-Backup von 19:02 Uhr einzuspielen.

Im Rahmen dieser Wiederherstellungs-Arbeiten verblieb das Gesamtsystem bis 20:40 (insgesamt ca. 90 Minuten) im Read-Only-Modus, und war danach für das Einspielen der Datenbank komplett im Wartungsmodus nicht erreichbar bis ca. 21:30 Uhr (50 Minuten).

Durch das rasche Erkennen des Fehlers konnte ein Datenverlust verhindert werden. Trotzdem bedauern wir die ungeplante Einschränkung der Erreichbarkeit, und entschuldigen uns bei allen Nutzern für eventuelle Unannehmlichkeiten.
Die Ursache der Störung wird noch weitergehend analysiert, außerdem arbeiten wir bereits an einer Änderung der Datenbank-Architektur, damit ähnliche Fehler künftig weitestgehend ausgeschlossen sind.

Nachtrag 28.03.23: Inzwischen haben uns einige Anfragen von Nutzern der Mobile-Apps erreicht, die sich nach der Downtime nicht mehr bei der App anmelden können. Unser Tipp dazu: wählen Sie die Option „Konto entfernen“ und melden sich dann neu bei der App an.

/0 Kommentare

[Behoben] Aktuelle Störung

,
Die Zeiten ändern sich… Dieser Beitrag wurde vor über 4 Jahren erstellt. Der Inhalt könnte daher veraltet sein.

Derzeit ist aufgrund einer technischen Störung der Datenbank die Nutzung von HiOrg-Server stark eingeschränkt.

Wir arbeiten gemeinsam mit den Technikern unseres Rechenzentrums mit Hochdruck daran, die Ursache der Störung zu analysieren und zu beheben.

Aufgrund unserer redundaten Datenbank sowie der mehrstufigen Backup-Strategie rechnen wir nicht mit einem Datenverlust.

Durch die noch im November bevorstehende grundlegende Änderung von Infrastruktur und Rechenzentrum hoffen wir, in Zukunft einen deutlich stabileren Betrieb zusichern zu können.

Sobald uns weitere Informationen darüber vorliegen (z.B. auch eine Schätzung, wann die Störung behoben sein wird), werden wir dies hier als Update veröffentlichen.

Update 11:35 Uhr: Die Datenbank ist wieder re-synchronisiert, und der HiOrg-Server wieder erreichbar. Wir haben noch kleinere Nacharbeiten, rechnen aber nicht mehr mit einer (mehr als 1-2 Minuten andauernden) Downtime.

Update 11:45 Uhr: Alle Reperaturarbeiten sind abgeschlossen, das System läuft wieder stabil. Wir bitten um Entschuldigung für evtl. entstandene Unannehmlichkeiten.

Stellungnahme: Störung der Erreichbarkeit in KW 38

, ,
Die Zeiten ändern sich… Dieser Beitrag wurde vor über 4 Jahren erstellt. Der Inhalt könnte daher veraltet sein.

In den vergangenen Wochen kam es mehrfach zu Störungen in der Erreichbarkeit von HiOrg-Server. Heute möchten wir über die Hintergründe und unsere Konsequenzen daraus informieren.

Die Priorität unseres Unternehmens ist die zuverlässige Bereitstellung eines stabilen und fehlerfreien Systems, welches dauerhaft erreichbar und nutzbar ist. In den letzten 20 Jahren konnten wir uns in dieser Hinsicht einen sehr guten Ruf erarbeiten, auf den wir stolz sind.

Im Jahr 2020 haben wir festgestellt, dass ein sicherer und zuverlässiger Serverbetrieb zunehmend komplexer wird. Um uns selbst mehr auf die Weiterentwicklung von HiOrg-Server konzentrieren zu können, haben wir das Thema Serverbetrieb an die Inexio IT und TK GmbH übertragen und den HiOrg-Server in deren Rechenzentrum in Saarlouis umgezogen (siehe unseren Bericht aus 12/2020). 

Die Erfahrung der vergangenen zwei Jahre hat jedoch gezeigt, dass unsere Erwartungen durch diese Kooperation nicht erfüllt werden. 

Obwohl wir uns zwischenzeitlich wieder vermehrt selbst um die Überwachung und Pflege der Produktivserver kümmern, kam es in den vergangenen Wochen leider mehrfach zu Beeinträchtigungen der Erreichbarkeit. Ein Ausfall am vergangenen Donnerstag (22.09.2022) dauerte mehr als zwei Stunden an. Ursache war eine nachhaltige Störung im Netzwerk des Rechenzentrums: einem Bereich, der leider außerhalb unseres Einflusses liegt.

Alle von HiOrg-Server bereitgestellten Dienste basieren auf serverseitigen Applikationen. Umso wichtiger ist daher die Auswahl eines geeigneten Rechenzentrums für den reibungslosen Betrieb der zentralen IT-Ressourcen. Die aktuelle Zusammenarbeit mit der Inexio IT und TK GmbH ist im Hinblick auf unsere Standards nicht länger zufriedenstellend.

Wir nutzen das Problem als Chance und stellen HiOrg-Server auf neue, technologisch moderne Beine. Um zukünftig auf eventuelle Störungen der Infrastruktur flexibler reagieren zu können, wird die Anwendung, die bislang “fest” auf mehreren Servern installiert war, derzeit von uns “containerfähig” gemacht. Sobald dies abgeschlossen ist, wollen wir das Produktivsystem auf eine Kubernetes-Umgebung der Ayedo Cloud Solutions GmbH umziehen, die im Rechenzentrum der Hetzner Online GmbH betrieben wird.

Diese Umstellung liegt uns (gerade auch im Hinblick auf die zurückliegenden Störungen) sehr am Herzen. Wir arbeiten mit Hochdruck daran, den Umzug noch in diesem Jahr abschließen zu können.

An dieser Stelle möchten wir uns nochmals ausdrücklich bei allen Nutzern entschuldigen, die in der vergangenen Woche an ihrer Arbeit behindert wurden. Wir sind selbst über den momentanen Zustand verärgert und setzen alles daran, in Zukunft wieder eine deutlich höhere Stabilität halten zu können.

Für Ihre Treue und das Vertrauen in uns und den HiOrg-Server sind wir sehr dankbar. ❤️

/0 Kommentare

[Behoben] Störung Erreichbarkeit

,
Die Zeiten ändern sich… Dieser Beitrag wurde vor über 4 Jahren erstellt. Der Inhalt könnte daher veraltet sein.

Derzeit ist aufgrund einer technischen Störung der Datenbank die Nutzung von HiOrg-Server stark eingeschränkt.

Wir arbeiten gemeinsam mit den Technikern unseres Rechenzentrums mit Hochdruck daran, die Ursache der Störung zu analysieren und zu beheben.

Aufgrund unserer redundaten Datenbank sowie der mehrstufigen Backup-Strategie rechnen wir nicht mit einem Datenverlust.

Sobald uns weitere Informationen darüber vorliegen (z.B. auch eine Schätzung, wann die Störung behoben sein wird), werden wir dies hier als Update veröffentlichen.

Update 12:38 Uhr: Ursächlich war eine nachhaltige Netzwerkstörung in unserem Rechenzentrum, welche inzwischen behoben wurde. Der HiOrg-Server ist nun wieder erreichbar.

Update 27.09.22: Siehe unsere ausführliche Stellungnahme zu diesem Ausfall

/4 Kommentare