TeDomum à nouveau sur les rails

Article du blog historique, en date du 2012-10-29 22:32:03

Comme promis, quelques détails sur l'incident de ce week-end après les sueurs froides. D'abord merci pour le soutien des quelques-uns qui ont veillé à attendre le rétablissement et nous soutenir. Ensuite toutes nos excuses et je transmets celles du prestataire chez qui l'incident a eu lieu pour le désagrément que l'interruption a pu causer.

Les premiers signes de la panne ont été resentis samedi vers 9h00. Concernant les services, tout est rétabli, dans l'ordre suivant :

  • réception des e-mails rétablie samedi vers 13h, aucun e-mail n'a donc été perdu ;
  • surveillance de la plateforme rétablie samedi vers 14h pour faciliter les travaux par la suite ;
  • longue phase d'attente jusqu'à dimanche après-midi, travail acharné du prestataire pour rétablir un service dégradé ;
  • rétablissement de la moitié des machines de l'infrastructure rennaise dimanche dans la soirée, les mails sont à nouveau délivrés dans leurs boîtes respectives, aucun service n'est accessible publiquement toutefois ;
  • ce matin à la première heure, préparation du serveur DNS de secours pour fournir une version modifiée des zones et adaptée à l'infrastructure dégradée ;
  • aujourd'hui à 13h, lancement de la zone DNS de secours, rétablissement du IMAP, du Webmail et des sites Web ;
  • aujourd'hui à 16h, rétablissement des dernières machines ;
  • aujourd'hui à 16h30, rétablissement des services Jabber, Bouncers, IRC, Bittorrent, etc.
  • aujorud'hui à 17h, rétablissement du serveur DNS et de la zone originale, fin de l'incident.

Notre prestataire pour l'infrastructure rennaise a subi deux coupures complètes d'alimentation électrique dans la journée de samedi qui sont à l'origine de l'incident. La remise en état de marche de l'ensemble de l'infrastructure hébergeur aura pris plus de 24h puisque des difficultés en termes de réseau ont suivi au retour de l'alimentation électrique. Entre autres, plusieurs routeurs ont souffert des coupures à répétition et le traffic généré lors de la reprise des flux a été mal encaissé. L'infrastructure spécifique TeDomum a également souffert des coupures et perdu quelques configurations récentes sur des équipements réseau. Quelques heures de labeur auront toutefois suffit à rétablir les services.