Ausfall diverser Systeme / Outage of various systems

Incident Report for Webland

Update

Unsere Techniker konnten die Arbeiten in der Nacht fortsetzen. Der Zugriff auf einen Teil des betroffenen Speichers besteht weiterhin, und erste Daten wurden gesichert und vorbereitet.

Ein weiterer Speicherbereich ist aktuell noch nicht erreichbar. Dieses Thema wird heute prioritär behandelt. Sobald hier Fortschritte erzielt werden, informieren wir umgehend.

Eine vollständige Wiederherstellung aller Dienste können wir weiterhin nicht verlässlich abschätzen. Wir arbeiten Schritt für Schritt weiter.

Vielen Dank für Ihre Geduld.

---

Our technicians continued their work during the night. Access to part of the affected storage remains available, and initial data has been secured and prepared.

Another storage area is still not accessible. This issue is being treated as a priority today, and we will provide an update as soon as progress is made.

A reliable estimate for full service restoration is still not possible. We continue to move forward step by step.

Thank you for your patience.
Posted Nov 26, 2025 - 09:10 CET

Update

Unsere Techniker konnten einen ersten kleinen Fortschritt erzielen. Sie haben wieder begrenzten Zugriff auf einen der Speicher-Controller und arbeiten jetzt daran, diesen so zu konfigurieren, dass der betroffene Speicherbereich wieder eingebunden werden kann.

Das ist noch keine Lösung, aber ein Schritt in die richtige Richtung. Leider können wir weiterhin nicht sagen, wann alle Dienste wieder vollständig funktionieren werden.

Wir informieren, sobald es weitere bestätigte Fortschritte gibt.

Vielen Dank für Ihre Geduld.

---

Our technicians have made a small initial step. They regained limited access to one of the storage controllers and are now working on configuring it so the affected storage can be brought back online.

This is not a full solution yet, but it is progress. Unfortunately, we still cannot provide a timeline for full service restoration.

We will update you as soon as there are further confirmed developments.

Thank you for your patience.
Posted Nov 25, 2025 - 20:39 CET

Update

Die Arbeiten zur Stabilisierung unserer Infrastruktur dauern weiterhin an. Unsere Techniker sind nach wie vor intensiv damit beschäftigt, betroffene Systeme neu aufzubauen und Daten zu migrieren.

Mail-Dienste, Datenbanken und weitere zentrale Services sind weiterhin beeinträchtigt. Aktuell liegen noch keine neuen Informationen zu einem genauen Zeitpunkt der vollständigen Wiederherstellung vor.

Sobald es konkrete Fortschritte oder neue Erkenntnisse gibt, werden wir diese umgehend auf dieser Statusseite veröffentlichen.

Vielen Dank für Ihre Geduld und Ihr Verständnis.

---

Work to stabilize our infrastructure is still ongoing. Our engineers continue to rebuild affected systems and migrate data.

Mail services, databases, and other core systems may still be impaired or only partially available. At this time, we do not yet have reliable information about when all services will be fully restored.

As soon as there are concrete updates or new findings, we will publish them here on the status page.

Thank you for your patience and understanding.
Posted Nov 25, 2025 - 18:25 CET

Update

Die Wiederherstellungs- und Migrationsarbeiten laufen weiterhin unter Hochdruck um die Systeme wieder zu stabilisieren.

Wir werden laufend über neue Erkenntnisse informieren.

Vielen Dank für Ihre Geduld.

---

Restoration and migration work is continuing at full speed to stabilize the systems again.

We will keep you informed of any new developments.

Thank you for your patience.
Posted Nov 25, 2025 - 14:55 CET

Update

Die Störung besteht weiterhin und betrifft aktuell Mail-Dienste, Datenbanken und weitere zentrale Systeme. Wir wissen, dass diese Situation sehr herausfordernd ist und viele Abläufe beeinträchtigt.

Aktuell finden Wiederherstellungs- und Migrationsarbeiten im Data-Center statt.

Unsere Teams arbeiten mit voller Priorität daran, die Dienste so schnell wie möglich wiederherzustellen. Leider können wir im Moment noch nicht sagen, wie lange die Störung anhält.

Die Statusseite wird fortlaufend aktualisiert, sobald neue Informationen vorliegen.

---

The disruption is still ongoing and currently affects mail services, databases, and other core systems. We understand that this situation is challenging and impacts many processes.

Recovery and migration work is currently being carried out in the data center.

Our teams are working with the highest priority to restore all services as quickly as possible. Unfortunately, we are not yet able to estimate how long the disruption will last.

The status page is being updated continuously as soon as new information becomes available.
Posted Nov 25, 2025 - 11:53 CET

Update

We are continuing to work on a fix for this issue.
Posted Nov 24, 2025 - 20:26 CET

Update

Aktuell sind verschiedene Datenbanken so wie die Mailserver nicht erreichbar.

---

Currently, several databases as well as the mail servers are not reachable.
Posted Nov 24, 2025 - 20:24 CET

Update

Aktuell ist ein weiterer Storagecluster ausgefallen.

---

Another storage cluster has currently failed.
Posted Nov 24, 2025 - 17:29 CET

Update

Es werden aktuell Vorbereitungen für die nächsten Migrationen getroffen. Update folgt.

---

Preparations are currently being made for the next migrations. Update follows.
Posted Nov 24, 2025 - 14:30 CET

Update

MS01 wurde migriert

---

MS01 has been migrated
Posted Nov 24, 2025 - 14:06 CET

Update

MS01 wird migriert, es kann zu einem kurzen Unterbruch kommen

---

MS01 is being migrated; there may be a brief interruption.
Posted Nov 24, 2025 - 12:36 CET

Update

Die Vorbereitungen für die Migration einiger Server hat begonnen. Weitere Mitteilungen welche Server betroffen sind folgt.

---

Preparations for the migration of some servers have begun. Further announcements regarding which servers are affected will follow.
Posted Nov 24, 2025 - 11:22 CET

Identified

Aktuell ist der MS13 nicht erreichbar. Wir arbeiten an der Behebung.

Wir vermerken mit anstieg der Last vermehrt Probleme auf allen Webaccess der Mailserver (MS1-MS14).
Die Ursache ist auf den Ausfall des Storageclusters zurückzuführen. Wir gehen davon aus, dass dies im Verlauf der nächsten Woche mit den Migrationen behoben wird.

Die Infrastruktur wird weiterhin Stabilisiert.

---

MS13 is currently unavailable. We are working to resolve the issue.

We are noticing increasing problems with all web access services to the mail servers (MS1-MS14) as the load increases.
The cause is due to the previous failure of the storage cluster. We expect this to be resolved over the course of the next week with the migrations.

We are continuing to work on stabilising the infrastructure.
Posted Nov 22, 2025 - 14:31 CET

Update

Die Infrastruktur wird weiterhin stabilisiert. Einzelne Dienste, insbesondere der E-Mail-Bereich, können aktuell noch eingeschränkt sein oder verzögert reagieren.

Unsere System Administration arbeitet fortlaufend an der Optimierung der Systeme, damit alle Dienste wieder vollständig und zuverlässig verfügbar sind. Während dieser Arbeiten kann es zu kurzen Unterbrüchen kommen.

Wir danken für das anhaltende Verständnis.

---

The infrastructure is still being stabilized. Some services, especially email, may currently be limited or respond with delays.

Our System Administration are continuously optimizing the systems to restore full and reliable availability. Short interruptions may occur during this process.

Thank you for your continued understanding.
Posted Nov 21, 2025 - 13:47 CET

Update

Alle Dienste sind vollständig Online. Jedoch mit Performanceeinbussen. Daher wird die Migration vorangetrieben und daher kann es zu kurzzeitigen Ausfällen einzelner Dienste kommen.

---

All services are fully online. However, it may come to some performance issues. Migration is therefore being pushed forward, which may result in short-term outages of individual services.
Posted Nov 21, 2025 - 10:34 CET

Monitoring

Die Migration wurde abgebrochen und ein Workaround um auf der bestehenden Infrastruktur ein Recovery vorzunehmen.

Die Mailserver sind wieder im Betrieb. Es kommt aktuell zu extremen Verzögerungen (bis zu 30 Minuten) aufgrund den angestauten E-Mails.
Wir gehen davon aus, dass die Verzögerung in den nächsten Stunden abnimmt.

---

The migration was cancelled and a workaround was implemented to perform a recovery on the existing infrastructure.

The mail servers are back in operation. There are currently extreme delays (up to 30 minutes) due to the backlog of emails.
We expect the delay to decrease over the next few hours.
Posted Nov 20, 2025 - 12:19 CET

Update

Einige der Dienste sind wieder erreichbar. Wir arbeiten mit Hochdruck an den Restlichen

---

Some of the services are available again. We are working hard on the rest.
Posted Nov 20, 2025 - 08:43 CET

Update

Aufgrund eines nicht erwartetem weitgehendem Defekts der Hardware, welche nicht im ersatzbestand ist, wird ein Desasterrecovery durchgeführt. Aufgrund der voranstehenden Migration auf die neue Infrastruktur, wird dies nun vorgezogen.

Wir entschuldigen uns für die Unannehmlichkeiten und bitten um Verständnis.

---

Due to an unexpected extensive hardware defect, for which there is no replacement in stock, a disaster recovery is being carried out. Due to the upcoming migration to the new infrastructure, this is now being brought forward.

We apologise for any inconvenience and thank you for your understanding.
Posted Nov 20, 2025 - 03:19 CET

Update

Die Fehlerhafte Komponente konnte Lokalisiert werden, Austausch im Gange.

---

The faulty component has been located and is currently being replaced.
Posted Nov 20, 2025 - 00:18 CET

Update

Wir konnten das Problem auf einen fehlerhaften Storagecluster eingrenzen. Ein Mitarbeiter ist bereits auf dem Weg in das Rechenzentrum. Wir arbeiten mit Hochdruck an einer Lösung.

---

We have been able to narrow down the problem to a faulty storage cluster. An employee is already on their way to the data centre. We are working flat out to find a solution.
Posted Nov 19, 2025 - 21:38 CET

Identified

Aktuell liegt ein Systemausfall vor. Mehrere Dienste und Server sind nicht erreichbar. Ursache ist ein Storage-Problem, das zurzeit analysiert wird. Die Wiederherstellung läuft. Weitere Updates folgen.

There is currently a system outage. Multiple services and servers are unavailable. The cause is a storage issue that is currently under investigation. Recovery efforts are in progress. Further updates will follow.
Posted Nov 19, 2025 - 20:48 CET
This incident affects: Hosting Server, E-Mail Server, Database Server, and Data Center.