Chuyện Data Center - Code Red

"Nhân vụ VNG vừa bị sập Data Center với rất nhiều khách hàng hoàn toàn tê liệt, kể lại vụ Code Orange đã xảy ra với Cloudflare như sau. Hy vọng VNG và các vendors khác bắt đầu làm việc tương tự.

Cloudflare thì quy mô hệ thống lớn hơn VNG rất nhiều. Ngày 2/11, một sự cố hy hữu đã xảy ra: Hệ thống điện cháy nổ, hoàn toàn mất điện, hệ thống tê liệt.

9.00-> 14.00: hoàn toàn mất điện, hệ thống tê liệt.

14.00: Có điện chập chờn. Phát hiện toàn bộ hệ thống hỏng hết, cần phải build lại.

Mỗi hệ thống tự chữa lành mất tầm 3 tiếng, có khoảng 20 hệ thống, tổng 60 tiếng.

Với những hệ thống với chuẩn 99999! thì điều này là không thể.

14.00 -> 18.00: Dồn mọi compute chạy song song hết tốc lực để build. Không thành.

23.00 đêm: Bắt đầu chạy lại một số máy chủ, nhưng dịch vụ không lên.

4h25 phút sáng ngày 4/11 dịch vụ mới bắt đầu khôi phục.

Tổng thời gian restore dịch vụ: 43 tiếng.

Nhiệm vụ Code Orange:

Việc xảy ra đã xảy ra, quan trọng là sau vụ này, Cloudflare đã đặt ra một nhiệm vụ khẩn cấp mang mã: Code Orange. Nhiệm vụ đặt ra kết quả: that shit should never happen again. Code Orange bắt đầu được thiết kế. 5 tháng sau, một vụ y hệt xảy ra: lại một vụ toàn bộ data center sập. 14:58 toàn bộ data center tắt phụt. Code Orange ngay lập tức kích hoạt. Toàn bộ hệ thống ngay lập tức vào chế độ Tự chữa lành / Self-healing.

Kỳ diệu là chỉ sau 7 phút, Code Orange đã loại bỏ data center xấu ra khỏi hệ thống và dựng lại toàn bộ dịch vụ một cách thần kỳ với hoàn toàn không gián đoạn. Việc đã làm mất 48 giờ mất dịch vụ nay trở thành 7 phút hoàn toàn bình thường chỉ với một chút chập chờn. Code Orange đã hoàn toàn chạy tự động và không hề cần bất cứ ai chạm tay vào. Tổng thời gian chữa lành: 7 phút.

Hy vọng VNG sẽ xây được một plan cho Code Orange tương tự (và nếu ngon thì cả Code Red cho những kịch bản tệ hơn).

"

TÁC GIẢ

Về ABN Asia: Ai Base Network (ABN), ABN Asia được thành lập từ năm 2012, là một công ty xuất phát từ học thuật, do những giảng viên, cựu du học sinh Hungary, Hà Lan, Nga, Đức, và Nhật Bản sáng lập. Chúng tôi chia sẻ đam mê chung và tầm nhìn vững chắc về công nghệ, mang đến sự đổi mới và chất lượng đỉnh cao cho khách hàng. Phương châm của chúng tôi là: Tốt hơn. Nhanh hơn. An toàn hơn. Trong nhiều trường hợp: Rẻ hơn.

Hãy liên hệ với chúng tôi khi Quý doanh nghiệp có các nhu cầu về dịch vụ công nghệ thông tin, tư vấn chuyển đổi số, tìm kiếm các giải pháp phần mềm phù hợp, hoặc nếu Quý doanh nghiệp có đấu thầu CNTT (RFP) để chúng tôi tham dự. Quý doanh nghiệp có thể liên hệ với chúng tôi qua địa chỉ email [email protected]. Chúng tôi sẵn lòng hỗ trợ với mọi nhu cầu công nghệ của Quý doanh nghiệp.

© ABN ASIA