Your Customers Shouldn’t Be Your Alert System: A Deep Dive into MELT
AI summary
Nhiều đội ngũ vẫn phải chờ khách hàng báo cáo trước khi biết hệ thống có sự cố, điều này làm tăng thời gian phát hiện và khắc phục sự cố. Nguyên nhân kỹ thuật nằm ở việc các loại dữ liệu quan sát – chỉ số, sự kiện, log và truy vết – được lưu trữ và xử lý riêng rẽ, không có mối quan hệ rõ ràng giữa chúng. Khi sự cố xảy ra, kỹ sư phải bỏ công việc thủ công để kết hợp thông tin từ nhiều công cụ khác nhau, dẫn tới trung bình thời gian khắc phục (MTTR) kéo dài và trải nghiệm người dùng giảm chất lượng. Việc tích hợp MELT với OpenTelemetry và các APM hiện đại cho phép tạo ra một luồng dữ liệu thống nhất, cung cấp bối cảnh sự cố ngay lập tức mà không cần phụ thuộc vào phản hồi của khách hàng. Điều này cho thấy việc đầu tư vào nền tảng quan sát thống nhất không chỉ giảm MTTR mà còn nâng cao độ tin cậy của dịch vụ từ góc nhìn kỹ thuật.
Why read it: Lập trình viên nên đọc bài này để hiểu cách tích hợp OpenTelemetry và MELT vào hệ thống APM hiện đại để tự động hóa phát hiện và giải quyết vấn đề, giảm thiểu thời gian phản hồi và giảm thiểu tác động đến người dùng.
What do you remember?
Answer 3 short questions to earn reward points for this article. Only do it if you want the points.
Nhóm phát hiện rằng hệ thống AI agent của họ đang chạy liên tục trên các instance cloud mà không có chính sách giảm quy mô khi tải trọng thấp, gây ra chi phí compute không cần thiết khoảng 1 triệu USD mỗi năm. Nguyên nhân kỹ thuật là thiếu cấu hình autoscaling và idle timeout cho các worker chạy agent, khiến chúng tiêu thụ GPU/CPU ngay cả khi không có request nào. Sau khi chỉnh sửa chính sách scaling và thêm giới hạn thời gian nghỉ idle trong vòng một giờ, chi phí hàng năm giảm ngay mức đó. Kết quả là tiết kiệm đáng kể mà không ảnh hưởng đến khả năng phản hồi của agent. Điều này cho thấy việc áp dụng giám sát chi phí và chính sách scaling tự động là cần thiết cho các dịch vụ AI dựa trên agent.
Bài tiết kiệm một triệu đô la chi phí lãng phí cho AI agent chỉ trong một giờ mà không cần nhiều kỹ thuật phức tạp.
Python Wrapture là một dự án mới được giới thiệu trên Python Bytes podcast, tập trung vào việc đóng gói code Python. Dự án này giải quyết vấn đề quản lý dependencies phức tạp bằng cách tự động tạo các wheel files cho các package Python. Hệ quả là nó giúp giảm thiểu các lỗi liên quan đến môi trường và dependency conflicts. Điều đáng học ở đây là cách Wrapture tự động hóa quy trình đóng gói, giúp các lập trình viên tiết kiệm thời gian và đảm bảo tính nhất quán của dự án.
Python Wrapture mang đến cho lập trình viên Python những thông tin cập nhật và hữu ích nhất từ podcast Python Bytes.
Uken Games trước đây sử dụng Datadog để thu thập và truy vấn telemetry từ các trò chơi di động của mình, nhưng chi phí đăng ký ngày càng tăng khi dữ liệu trace phát triển. Họ quyết định thay thế bằng một stack observability mã nguồn mở được xây dựng trên ClickHouse, trong đó mọi trace được lưu trữ trên một nút đơn nhờ khả năng nén và truy vấn hiệu quả của cơ sở dữ liệu phân tích cột. Sau khi chuyển đổi, chi phí quan sát giảm 87% so với mức trả cho Datadog, đồng thời vẫn duy trì khả năng truy vấn toàn bộ bộ dữ liệu trace mà không cần mở rộng cluster. Kết quả cho thấy việc áp dụng ClickHouse có thể giảm đáng kể chi phí lưu trữ và xử lý cho các workload telemetry lớn. Điều này gợi ý rằng các công ty phát triển game có thể xem xét các giải pháp quan sát dựa trên mã nguồn mở và cơ sở dữ liệu cột để tối ưu chi phí mà không hy sinh tính năng.
Bài viết cho thấy cách Uken Games giảm tới 87% chi phí giám sát bằng cách sử dụng ClickHouse thay vì Datadog trong stack quan sát mã nguồn mở.
We need to produce a Vietnamese summary, 4-6 sentences, natural, following order: background, technical cause, consequences, lessons learned. Include specific numbers and tech names if present. Avoid generic sentences, no markdown, no opening fluff, no mention that it's a summary. Use only Vietnamese and Latin characters, keep technical terms in English. No Chinese/Japanese/Korean characters.
Let's extract details:
- Engineering lead built an internal AI on-call agent.
- Over four months, grew from personal tool to infrastructure adopted by 36 agents across 28 teams.
- Key lessons: pick bounded repeatable problem, give agent memorable name to drive adoption, dropped proactive monitoring in favor of reactive help-desk model because usage data showed nobody wanted proactive alerts, treat prompt as strict runbook with numeric SLAs, explicit field IDs, closed failure taxonomy, asymmetric read/write permissions based on blast radius, offload rarely-needed procedural knowledge into loadable skills rather than bloating prompt.
- Failure modes: agent cannot diagnose its own outages because silence and failure look identical, so aliveness checks must live outside the agent.
- Session volume grew from 104 to 243 per week with a 3.4% failure rate across 1,133 sessions.
We need to produce 4-6 sentences, covering background, technical cause, consequences, lessons learned.
Let's craft:
Sentence 1: Background: An engineering lead spent four months building an internal AI on-call agent that started as a personal tool and eventually served 36 agents across 28 teams.
Sentence 2: Technical cause/approach: The team chose a bounded repeatable problem, gave the agent a memorable name, switched from proactive alerts to a reactive help‑desk model after data showed no demand for proactive notifications, and treated the prompt as a strict runbook with numeric SLAs, explicit field IDs, a closed failure taxonomy and asymmetric read/write permissions based on blast radius.
Sentence 3: Consequences/adoption: Session volume rose from 104 to 243 per week, accumulating 1,133 sessions with an overall 3.4% failure rate, demonstrating both usage growth and reliability challenges.
Sentence 4: Lessons learned: They offloaded rarely‑used procedural knowledge into loadable skills to keep the prompt lean, and realized the agent cannot self‑diagnose outages because silence and failure are indistinguishable, requiring external aliveness checks.
That's 4 sentences. Could add a fifth about naming driving adoption, but we already covered. Could add a sentence about the failure taxonomy and permissions. But we have enough.
Check for any Vietnamese characters: need to avoid any Chinese/Japanese/Korean characters. Use only Vietnamese Latin characters and English terms. Ensure no special characters like é? Vietnamese uses diacritics like á, ă, etc. Those are Latin characters with diacritics, allowed? The instruction: "Chỉ dùng chữ Việt và chữ Latin: tuyệt đối không có ký tự Hán/Trung/Nhật/Hàn trong câu trả lời, tên riêng kỹ thuật giữ nguyên dạng Latin." So Vietnamese characters with diacritics are allowed (they are Latin-based). So we can use Vietnamese with accents.
Make sure not to accidentally include any non-Latin like “–” (en dash) is okay? It's not a letter. Probably fine. Safer to use plain hyphen "-". Avoid curly quotes. Use plain ASCII punctuation.
Let's write sentences with plain punctuation.
Sentence 1: "Một trưởng nhóm kỹ thuật đã dành bốn tháng để xây dựng một tác nhân AI on‑call nội bộ, bắt đầu như một công cụ cá nhân và sau đó được 36 tác nhân trong 28 đội sử dụng."
Check: "tác nhân" maybe not common; better "đại lý" or "agent". Keep term "agent" in English. So: "Một trưởng nhóm kỹ thuật đã dành bốn tháng để xây dựng một agent AI on‑call nội bộ, bắt đầu như một công cụ cá nhân và sau đó được 36 agent trong 28 đội sử dụng."
Sentence 2: "Đội đã chọn một vấn đề có giới hạn và lặp lại, đặt tên agent để dễ nhớ, chuyển từ cảnh báo chủ động sang mô hình hỗ trợ phản ứng sau khi dữ liệu cho thấy ninguém muốn nhận cảnh báo chủ động, và đối xử prompt như một quy tắc chặt chẽ có SLA số, ID trường rõ ràng, phân loại lỗi đóng và quyền đọc/ghi bất đối xứng dựa trên bán phá hủy."
We need to ensure no special characters like “‑”. Use hyphen "-". Also avoid curly quotes. Use straight quotes if needed but better avoid.
Sentence 3: "Trong thời gian chạy, số phiên tăng từ 104 lên 243 mỗi tuần, tổng cộng 1.133 phiên với tỷ lệ thất bại 3,4%."
Sentence 4: "Bài học chính là offload kiến thức thủ tục raramente dùng vào các skill có thể tải, giữ prompt gọn, và nhận ra agent không thể tự chẩn đoán sự cố vì im lặng và lỗi trông giống nhau, vì vậy kiểm tra sự sống phải đặt bên ngoài agent."
Check numbers: "1.133" maybe should be "1 133" but we can use "1,133". Use comma as thousand separator. In Vietnamese, they often use dot as thousand separator and comma as decimal. But we can use "1.133" as thousand separator (dot) and comma for decimal? The original says "1,133 sessions". We'll keep "1,133". Use comma as thousand separator, dot for decimal? The failure rate "3.4%" uses dot as decimal. That's fine.
Thus sentence 3: "Trong thời gian chạy, số phiên tăng từ 104 lên 243 mỗi tuần, tổng cộng 1,133 phiên với tỷ lệ thất bại 3,4%."
Sentence 4
Bài này cung cấp bài thực tế về cách xây dựng và triển khai AI on-call agent từ một công cụ cá nhân thành hệ thống được 36 agent chấp nhận, với những bài học quý giá về thiết kế và quản lý.
Python 3.15.0 candidate 2 đã được phát hành, đây là cơ hội cuối cùng để người dùng thử nghiệm trước khi phiên bản chính thức ra mắt. Phiên bản này tập trung vào việc hoàn thiện các tính năng và sửa lỗi còn tồn đọng từ các candidate 1 trước đó. Việc test kỹ version này rất quan trọng vì nó sẽ là phiên bản cuối cùng trước khi release chính thức, giúp đảm bảo tính ổn định cho Python 3.15.0. Những ai đang sử dụng các dự án quan trọng nên dành thời gian kiểm tra xem các thay đổi mới có ảnh hưởng đến codebase của họ hay không.
Lập trình viên nên đọc bài này để nắm bắt cơ hội cuối cùng kiểm tra bản thử nghiệm Python 3.15.0 trước khi phiên bản chính thức ra mắt.
Bối cảnh công nghệ AI đang phát triển chóng mặt khiến data scientists cần cập nhật kỹ năng mới để không bị đào thải. Nguyên nhân kỹ thuật là sự xuất hiện của các mô hình deep learning phức tạp như transformer và GPT-4 đòi hỏi kiến thức chuyên sâu về prompt engineering, MLOps và reinforcement learning. Hệ quả là các data scientists chỉ có kiến thức truyền thống về statistical learning và data visualization sẽ cạnh tranh kém hiệu quả so với những người nắm vững các công cụ hiện đại. Điều đáng học là phải thành thạo ít nhất 5 kỹ năng AI quan trọng trước năm 2027, bao gồm fine-tuning language models, building AI agents, và applying AI to video content - những lĩnh vực đang tăng trưởng với tốc độ 40-60% mỗi năm.
Bài viết giúp lập trình viên nắm 5 kỹ năng AI thiết yếu để luôn giữ giá trị và liên quan trong lĩnh vực khoa học dữ liệu.
Bối cảnh: bài viết mở rộng giới thiệu các tính năng mới của pgwatch v6.0.0 beta, tập trung vào việc cải tiến dashboard và cải thiện quá trình thu thập dữ liệu.
Nguyên nhân kỹ thuật: thay đổi cách dashboard được xây dựng bằng React và tối ưu hoá luồng xử lý để giảm tải server.
Hệ quả: dashboard hiển thị nhanh hơn và reaper không còn gặp lỗi choking khi xử lý dữ liệu lớn.
Điều đáng học: việc sử dụng các thư viện UI hiện đại và tối ưu hoá truy vấn giúp tăng hiệu suất và độ ổn định.
Bài viết khuyến khích cộng đồng tham gia đóng góp mã nguồn để hoàn thiện tính năng.
We need to output exactly one short Vietnamese sentence explaining why a programmer should read this. Must be correct Vietnamese, no markdown, no opening greeting. Must only use Vietnamese and Latin characters, no Chinese/Japanese/Korean/Han characters. Latin characters are allowed (i.e., English letters). Names of technical terms must remain Latin (e.g., pgwatch, dashboards, reaper). Must not include any non-Latin characters (i.e., no diacritics? Actually Vietnamese uses diacritics which are Latin letters with diacritics; those are still Latin characters? The instruction says "chỉ dùng chữ Việt và chữ Latin: tuyệt đối không có ký tự Hán/Trung/Nhật/Hàn trong câu trả lời". Vietnamese uses Latin alphabet with diac
