Amazon macht Tippfehler für AWS-Störung verantwortlich

Amazon hat sich zu der mehrstündigen Störung des S3-Diensts auf Amazon Web Services (AWS) Anfang dieser Woche geäußert. Menschliches Versagen führte dazu, dass dem Dienst kurzzeitig weniger Server zur Verfügung standen als benötigt. Auslöser war ein Tippfehler während geplanter Wartungsarbeiten.

Demnach untersuchte das Simple-Storage-Service-Team (S3) einen Fehler, der dazu führte, dass das S3-Abrechnungssystem langsamer arbeitete als erwartet. „Um 9.37 Uhr Westküstenzeit führte ein autorisiertes S3-Teammitglied einen Befehl aus, um eine geringe Anzahl Server eines S3-Subsystems zu entfernen, die für den S3-Abrechnungsprozess benutzt werden“, teilte Amazon mit. „Unglücklicherweise war eine Eingabe des Befehls falsch und es wurde eine größere Anzahl Server entfernt als geplant.“

Tatsächlich deaktivierte der Fehler zwei weitere Subsysteme, die für alle S3-Objekte in der Region US-East-1 benötigt werden. Beide Systeme standen erst nach einem vollständigen Neustart wieder zur Verfügung. Dieser Vorgang habe, zusammen mit den notwendigen Sicherheitsprüfungen, zudem länger benötigt als erwartet, so Amazon weiter.

Während des Neustarts war der S3-Dienst nicht in der Lage, Anfragen zu bearbeiten. Deswegen waren auch Dienste in der Region betroffen, die auf S3-Storage angewiesen sind, darunter die S3-Konsole, der Start neuer Instanzen von Amazon Elastic Compute Cloud (EC2), Amazon Elastic Block Store (EBS) und AWS Lambda.

Das erste Subsystem, das Index-Subsystem, stand um 13.18 Uhr Ortszeit, also nach knapp vier Stunden, wieder zur Verfügung. Das Placement-Subsystem wiederum arbeitete ab 13.54 Uhr normal. Damit war die Störung erst nach mehr als vier Stunden wieder behoben.

Darüber hinaus kündigte Amazon verschiedene Maßnahmen an, um derartige Fehler in der Zukunft zu verhindern. „Obwohl die Entfernung von Kapazitäten ein normaler operativer Vorgang ist, ermöglichte es das Tool, zu viele Kapazitäten zu schnell zu entfernen. Wir haben das Tool so verändert, dass es Kapazitäten langsamer abbaut, und Sicherheitsvorkehrungen eingeführt, um zu verhindern, dass ein Subsystem seine Mindestkapazität unterschreitet“, ergänzte Amazon.

Amazon hat außerdem bereits begonnen, das Index-Subsystem in kleinere Zellen aufzuteilen, um ähnliche Störungen künftig zu vermeiden. Darüber hinaus kann das AWS Service Health Dashboard nun über mehrere Regionen hinweg ausgeführt werden. Es informiert Nutzer über laufende Störungen und Einschränkungen. Da es von dem Vorfall in dieser Woche ebenfalls betroffen war, konnte Amazon seine Kunden nur über Twitter auf dem Laufenden halten.

[mit Material von Stephanie Condon, ZDNet.com]

Tipp: Sind Sie ein Fachmann in Sachen Cloud Computing? Testen Sie Ihr Wissen – mit dem Quiz auf silicon.de.