BERLIN. Der Ausfall von Facebook in der vergangenen Nacht war der größte seit vier Jahren, so die Betreiber des Social Network. Schuld war eine fehlerhafte Fehlerbehandlung. Ein automatisches Korrektursystem sorgt für gewöhnlich dafür, dass fehlerhafte Konfigurationswerte im Cache durch aktualisierte Werte im persistenten Speicher überschrieben werden. Im aktuellen Fall führte aber genau dies zum Zusammenbruch.
Ausgangspunkt war eine Konfigurationsänderung im persistenten Speicher, die das System als ungültig einstufte. Die Folge: Jedes Clientsystem erhielt den angeblich ungültigen Wert, versuchte diesen zu korrigieren und stellte dazu eine Anfrage an einen Datenbankcluster. Dieser brach schnell unter der Last der mehreren hunderttausend Anfragen pro Sekunde zusammen.
Verschlimmert wurde das Problem dadurch, dass jede fehlgeschlagene Anfrage an die Datenbank als ungültiger Wert behandelt wurde und der zugehörige Cache-Schlüssel gelöscht wurde. Das führte dazu, dass auch nach Korrektur des eigentlichen Fehlers die Zahl der Anfragen auf den Datenbankcluster hoch blieb. Das Ganze führte zu einer Feedbackschleife, die der Datenbank keine Gelegenheit ließ, sich zu erholen.
Die einzige Lösung bestand darin, sämtlichen Traffic auf das Datenbanksystem zu stoppen, was zugleich bedeutete, Facebooks Website abzuschalten. Danach konnte das Problem beseitigt und das System Stück für Stück wieder hochgefahren werden.
Mittlerweile läuft Facebook wieder, das Korrektursystem bleibt aber vorerst abgeschaltet. Facebooks Entwickler denken über ein neues Design des Systems nach, um auszuschließen, dass das System mehr Schaden anrichtet als es Fehler korrigiert.
