Đang tải bảng tin…
The New Stack1 Hot0 bình luận10 phút đọc
Meet Brain, the AI that decides when Azure is officially down
Microsoft has revealed Brain, its internal AIOps system that serves as Azure's centralized cloud health monitor. Built on top of Azure Resource Graph as a real-time digital twin, Brain ingests three classes of signals — standardized service level indicators (SLIs), team-registered domain monitors, and third-party indicators — to produce health state, severity, impact scope, and root cause for any Azure service, region, or customer resource. Rather than asking service teams to define their own SLOs (which led to sandbagged thresholds), Brain uses ML models to derive dynamic thresholds from each service's historical behavior. The system automatically declares outages, pauses harmful rollouts, routes incidents to the right teams, and notifies affected customers. Azure CTO Mark Russinovich says auto-notification has reduced customer support tickets by 4–6x and that Brain hits a 15-minute time-to-mitigate window for 80–90% of covered services. On top of Brain, Microsoft is layering agentic systems like Triangle, an LLM-based multi-agent triage system that routes incidents to the right service team without manual handoffs. Coverage currently spans 70–80% of Azure's critical services, with the remainder in progress.
Nguồn: https://thenewstack.io/inside-azure-brain. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Đề xuất cho bạn
Daily Dose of Data Science | Avi Chawla | Substack1 Hot6 phútAI
How LLM Routing Actually Works in Production
Việc định tuyến LLM trong sản xuất phức tạp hơn việc phân loại đơn giản, do chi phí ẩn từ caching prompt: nhà cung cấp giảm ~90% phí cho token đã xem, nhưng cache này chỉ áp dụng riêng cho từng model. Nếu router chuyển model giữa chừng, cache sẽ mất và toàn bộ ngữ cảnh phải trả phí "lạnh", triệt tiêu lợi ích tiết kiệm. Giải pháp là "model affinity" – định tuyến một lần cho mỗi tác vụ và ghim model vào session ID để cache giữ ấm. Quy trình sản xuất đầy đủ gồm 4 giai đoạn: lọc rào cản an toàn, model định tuyến nhỏ, chính sách chọn lựa chi phí/tốc độ, và ghim model affinity. Open-source proxy Plano triển khai quy trình này với cấu hình YAML và sử dụng Arch-Router (1.5B model) để đưa ra quyết định dựa trên dữ liệu ưu tiên của người dùng.
