Výpadek datacentra Dial Telecom 12.8.2009
Gigant Blog | Hardware | Výpadek datacentra Dial Telecom 12.8.2009
Ve středu 12.8.2009 došlo k výpadku elektrické energie v datacentru Dial Telecom a.s. Tento výpadek postihl i nás a týkal se většiny zákaznických serverů. Níže přikládám oficiální vyjádření o výpadku od provozovatele datacentra.
Oficiální vyjádření o příčinách výpadku od provozovatele datacentra - společnosti Dial Telecom a.s.
Vážený zákazníku,
přestože se snažíme o stálé zkvalitňování úrovně našich služeb, ve středu 12.8.2009 v cca 18:05h bohužel došlo k zásadnímu technickému problému v naší síti.
Důvodem byl výpadek našeho centrálního uzlu umístěného v Housingovém centru Corso Karlín. Příčinou výpadku centrálního uzlu byla porucha primárního napájecího okruhu Housingového centra. Při výpadku napájení byla poškozena logika on-line UPS, následkem čehož nebyly spuštěny záložní okruhy napájení. Závada byla detekována okamžitě a v cca 18:35h bylo napájení Housingového centra provizorně obnoveno. Následně byly postupně zprovozňovány naše technologické a zákaznické servery, které nenaběhly automaticky, případně naběhly nekorektně. Toto bylo ukončeno cca v 20:30h.
Funkčnost menší části služeb byla ve spolupráci se zákazníky obnovována ještě v nočních hodinách a dnes dopoledne. Definitivní oprava technologie napájení Housingového centra Corso Karlín byla dokončena dnes dopoledne.
Vážený zákazníku, velice se Vám omlouváme za způsobené potíže. Plně si uvědomujeme závažnost situace a proto byla spolupráci s dodavatelem technologie napájení provedena opatření a technické změny, aby k podobné situaci v budoucnu již nemohlo dojít. Věříme, že tento incident byl jediný a poslední tohoto typu a do budoucna Vám budeme poskytovat již jen plně funkční a stabilní služby.
S přáním hezkého dne
Petr Procházka
Technical Support Team Manager
Dial Telecom, a.s.
Corso Karlín
Křižíkova 36a
Praha 186 00
Tel.: +420 226 204 106
Mobil: +420 602 319 346
Fax.: +420 226 204 197
petr.prochazka@dialtelecom.cz
www.dialtelecom.cz
Výpadek z našeho pohledu
Z počátku vypadalo, že celý výpadek proběhl bez většího poškození našich systémů. Náš monitoring zaznamenal první známky výpadku již v cca 17:50, kdy došlo k problémům na konektivitě. Během několika minut pak došlo ke kompletnímu výpadku všech technologií. Provoz byl ze strany datacentra skutečně obnoven cca v 18:30, problém však nastal v tom, že technologie se rozebíhaly postupně a výpadek se tak mohl protahovat.
Od 17:55 se výpadkem zabývali i technici naší společnosti, kteří byly přítomni v datacentru a pomáhali s řešením výpadku. Asi 90% našich technologií se podařilo dát do provozu okolo 19:00. Zůstalo však několik serverů, které byly fyzicky poškozeny výpadkem elektrického proudu. Jednalo se zejména o poškozené disky, řadiče a zdroje serverů. Na odstranění všech problémů jsme ve spolupráci se zákazníky pracovali až do 16ti hodin následujícího dne, kdy se nám podařilo zprovoznit poslední zničený server. U těch zákazníků, kde došlo k poškození technologií (disků a řadičů), které způsobilo ztrátu dat, byla veškerá data obnovena ze záloh.
Velice se omlouváme za problémy, které vznikly našim zákazníkům. Problém s napájením nebyl zapříčiněn naší společností, ve výsledku to ale "odneslo" nemalé množství našich serverů, potažmo zákazníků. Na odstranění příčin problémů a na zajištění toho, aby se situace nemohla opakovat jsme již jednali se zástupci společnosti Dial Telecom. Ještě jednou se omlouváme za způsobené komplikace a všem zákazníkům děkujeme za trpělivost a pomoc při řešení vzniklých problémů.
Vladimír Kvaš ml.
Obchodní ředitel
Gigant GROUP s.r.o.
Výpadek datacentra v číslech (jen ze strany Gigant GROUP s.r.o.)
| Postižených serverů |
100% |
| Zničených serverů v důsledku přepětí |
8 |
| Zničených disků v serverech |
25 |
| Počet hodin, ztrávených řešením problému |
310 |
| Náklady na řešení problému |
v řádech stovek tisíc |