Code Red - L'histoire du centre de données

"A l'occasion de l'effondrement du Data Center de VNG avec un groupe de clients complètement paralysé, laissez-nous vous raconter l'histoire de l'incident Code Orange arrivé à Cloudflare comme suit. Espérons que VNG et d'autres fournisseurs commenceront à faire de même.

L'échelle du système Cloudflare est beaucoup plus grande que celle de VNG. Le 2 novembre, un incident rare s'est produit : le système électrique a pris feu, a complètement perdu le courant et le système a été paralysé.

9h00-> 14h00 : coupure de courant totale, système paralysé.

14h00 : Il y a de l'électricité par intermittence. J'ai découvert que l'ensemble du système était en panne et devait être reconstruit. Chaque système d'auto-guérison prend environ 3 heures, il existe environ 20 systèmes, pour un total de 60 heures.

Avec des systèmes à la norme 99999 ! alors c'est impossible.

14h00 -> 18h00 : Exécutez tous les calculs en parallèle à pleine vitesse pour construire. Ca ne fonctionne pas.

23h00 : J'ai recommencé à exécuter certains serveurs, mais le service n'est pas opérationnel.

Le 4 novembre à 4 h 25, le service a commencé à être rétabli.

Temps total de restauration du service : 43 heures.

Mission Code Orange :

Ce qui s'est passé, l'important est qu'après cet incident, Cloudflare a défini une tâche d'urgence avec le code : Code Orange. La mission détermine le résultat : cette merde ne devrait plus jamais se reproduire. Code Orange commence à être conçu.

5 mois plus tard, la même chose s'est produite : un nouvel effondrement de l'ensemble du centre de données. À 14h58, l'ensemble du centre de données s'est arrêté. Le Code Orange s'active immédiatement. L'ensemble du système passe immédiatement en mode d'auto-guérison.

Miraculeusement, après seulement 7 minutes, Code Orange a supprimé le centre de données défectueux du système et a miraculeusement reconstruit l'ensemble du service sans aucune interruption. Ce qui était autrefois une perte de service de 48 heures s'est désormais transformé en 7 minutes tout à fait normales avec seulement un léger scintillement. Code Orange s'exécute de manière entièrement automatique et ne nécessite que personne n'y touche. Temps total de cicatrisation : 7 minutes.

Espérons que VNG construira un plan similaire pour Code Orange (et si c'est bon, Code Red pour les pires scénarios)."

Veuillez noter que la version française est assistée par Ai, des erreurs mineures peuvent donc exister.

Auteur

AiUTOMATING PEOPLE, ABN ASIA a été fondée par des personnes ayant des racines profondes dans le milieu académique, avec une expérience professionnelle aux États-Unis, aux Pays-Bas, en Hongrie, au Japon, en Corée du Sud, à Singapour et au Vietnam. ABN ASIA est l'endroit où l'académie et la technologie rencontrent l'opportunité. Avec nos solutions de pointe et nos services de développement logiciel compétents, nous aidons les entreprises à se développer et à s'imposer sur la scène mondiale. Notre engagement : Plus vite. Mieux. Plus fiable. Dans la plupart des cas : moins cher également.

N'hésitez pas à nous contacter chaque fois que vous avez besoin de services informatiques, de conseils en matière de numérique, de solutions logicielles prêtes à l'emploi, ou si vous souhaitez nous envoyer des demandes de propositions (RFP). Vous pouvez nous contacter à l'adresse [email protected]. Nous sommes prêts à vous aider avec tous vos besoins technologiques.

© ABN ASIA