What running Kubernetes across millions of clusters taught AWS about zone failures

AWS engineers share lessons from operating Kubernetes at scale across millions of EKS clusters, focusing on how gray-zone failures — where a zone is degraded but not fully down — can cascade into regional outages. The post explains the static stability principle: during a zonal impairment, automated systems should stop reacting, preserve existing capacity, and route around the bad zone rather than triggering replacements. It covers the EKS control plane's automated zonal shift mechanism (DNS weight shifts, Auto Scaling group suspension, leader election handoff), and the data plane's ARC zonal shift feature that cordons impaired nodes and removes their endpoints without evicting pods. Key lessons include: healthy zones must fence off bad ones, cross-zone dependencies can extend blast radius beyond the failing zone, and detection/shift infrastructure must rely on low-level primitives (S3, plain EC2) rather than higher-order services. The feature is free, enabled with a single CLI command, and supports both manual and automated (autoshift) modes with weekly practice runs.

Nguồn: https://thenewstack.io/eks-zonal-shift-resilience. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

Isovalent2 Hot21 phút9 giờ trướcAI

Isovalent Networking for Kubernetes 1.19: BGP Route Import, Policy Tiers, and Timescape enhancements

Isovalent Networking cho Kubernetes 1.19 bổ sung các tính năng quản trị ngày thứ hai như chính sách kiểm soát nhập BGP (default-deny + allowlists), hỗ trợ quảng bá địa chỉ giao diện qua BGP, và nâng cấp Egress Gateway HA lên ổn định. Tính năng điều khiển mạng bổ sung hỗ trợ ClusterNetworkPolicy, phân cấp chính sách (Admin/Normal/Baseline) cùng chế độ offline FQDN HA. Hubble Timescape thay thế Hubble UI Enterprise với bộ lọc CEL, chỉnh sửa chính sách nâng cao, truy xuất tiến trình qua Tetragon và mô hình triển khai OpenShift mới.

Nếu bạn là một lập trình viên quản trị hệ thống hoặc DevOps cần tối ưu hóa và quản lý chính sách mạng trong Kubernetes, bài viết này sẽ giúp bạn hiểu cách áp dụng các tính năng mới như và để tự động hóa và bảo mật môi trường cloud-native hiệu quả hơn.