We terminated a TPU mid-training and it recovered in seconds: Introduction to elastic training with MaxText

Elastic training on Cloud TPUs allows a multi-node LLM training job to recover from hardware failures without restarting the entire workload. Using Google's JAX AI stack (MaxText + Pathways) on GKE, a single Python controller process survives worker failures and catches them as exceptions rather than process terminations. Two recovery modes are available: pause-and-resume (waits for the failed slice to be replaced, then reloads the last checkpoint) and replica-resize (continues training on surviving slices at reduced throughput). A live demo shows a force-killed TPU worker pod recovered in under 2 minutes with zero JobSet restarts, rewinding only 88 steps to the last committed Orbax checkpoint. Key components are Pathways (failure detection via heartbeat/in-flight errors), the elastic_retry decorator from pathwaysutils, and Orbax checkpointing with commit_success markers. For larger models, enabling ENABLE_PATHWAYS_PERSISTENCE=1 is critical to avoid routing checkpoint data through the proxy container. The post also previews in-memory snapshot-based recovery as a future improvement to reduce rewind distance and eliminate GCS round-trips.

Nguồn: https://developers.googleblog.com/we-terminated-a-tpu-mid-training-and-it-recovered-in-seconds-introduction-to-elastic-training-with-maxtext. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

Hugging Face45 Hot11 phút6 ngày trướcAI

Why Specialization Is Inevitable

AI chuyên biệt không phải là lựa chọn mà là xu hướng tất yếu do ba nguyên lý: định lý No Free Lunch (không thuật toán tổng quát nào vượt trội trên mọi bài toán), sinh học tiến hóa (chuyên gia cạnh tranh hiệu quả hơn đa năng dưới áp lực tài nguyên), và thị trường cạnh tranh (tập trung chiến lược ưu việt hơn phân tán). Các bằng chứng từ machine learning (negative transfer, mixture-of-experts, AlphaFold) và sự phân biệt giữa domain knowledge (thay thế bởi scaling) với domain specialization (không bị loại bỏ) càng củng cố kết luận: khi nguồn lực hữu hạn và áp lực chọn lọc, sự phù hợp luôn thắng thế so với sự đa dạng.

Lập trình viên nên đọc bài này để hiểu cách AI và hệ thống máy học tự động hóa và tối ưu hóa thành công thông qua chuyên môn hóa chứ không phải sự đa dạng rộng rãi.