Amazon MWAA Serverless now supports shared VPC configurations

Weather Analytics Made Simple with Airflow, PostgreSQL, and Metabase

Bài viết hướng dẫn xây dựng pipeline dữ liệu thời tiết toàn diện bằng các công cụ mã nguồn mở: Airflow điều phối, PostgreSQL lưu trữ, Metabase tạo dashboard BI, tất cả chạy trên Docker. Dữ liệu được thu thập mỗi giờ từ WeatherAPI cho các thủ phủ bang Brazil, xử lý qua DAG nhiều tầng của Airflow, rồi hiển thị dưới dạng dashboard thời tiết hiện tại, lịch sử và dự báo trên Metabase.

Lập trình viên muốn tự động hóa và tích hợp các công cụ phân tích dữ liệu từ API đến báo cáo trực quan sẽ tìm hiểu cách xây dựng một pipeline hoàn chỉnh với Airflow, PostgreSQL và Metabase để tối ưu hóa quy trình xử lý và chia sẻ thông tin thời tiết hiệu quả.

Building a RAG Investment Assistant

For VC teams, valuable knowledge is everywhere: PDFs, inboxes, call transcripts, news feeds, and internal notes. The problem is getting the right context when you actually need it. We built a platform that brings all of this information into a single searchable knowledge base, with LLM agents on top that can: • prepare meeting briefings • research people and companies • answer questions across the firm’s internal knowledge • continuously ingest and structure new information In the article, we go under the hood and explain how the system works, including its storage architecture, seven-stage ingestion pipeline, Airflow automations, and the agent layer that we substantially redesigned after the first production release. We also cover a production incident that changed how we approached monitoring and reliability. If you’re building RAG systems, internal AI assistants, or agentic workflows on top of large amounts of unstructured company data, this one gets pretty technical.

I'm building a PC with a back-connect motherboard, so I'll never have to thread cables behind the tray again

Việc lắp ráp PC trở nên dễ dàng hơn nhờ bo mạch chủ có cổng kết nối phía sau, giúp loại bỏ nhu cầu luồn dây phía sau khay.

Nếu bạn đang xây dựng máy tính với mẹo board kết nối ngược (back-connect) thì bài này sẽ giúp bạn tiết kiệm thời gian và tránh những lỗi rắc rối về cáp khi thiết kế bố cục PC hiệu quả.

Who Runs Your Machine Learning Pipeline While You Sleep?

Các pipeline machine learning vẫn hoạt động liên tục ngay cả khi con người không giám sát, xử lý dữ liệu và đưa ra quyết định quan trọng trong im lặng.

Những lập trình viên chuyên về ML cần đọc bài này để hiểu cách tự động hóa và quản lý pipeline học máy hiệu quả, từ việc tối ưu hóa thời gian chạy mô hình cho đến việc đảm bảo hệ thống hoạt động 24/7 mà không cần can thiệp thủ công.

Amazon MWAA now supports Apache Airflow version 2.11.2

Discover more about what's new at AWS with Amazon MWAA now supports Apache Airflow version 2.11.2

Leveraging Data Assets features in Airflow 3.0 to optimise resource utilization by more than 30%

Halodoc giảm tới hơn 30% tài nguyên Airflow bằng cách tận dụng Data Assets và sử dụng toán tử deferrable Redshift, từ đó cắt giảm đáng kể CPU của worker và lỗi khóa.

Lập trình viên nên đọc bài này để khám phá cách Data Assets trong Airflow 3.0 giúp tối ưu hóa sử dụng tài nguyên hiệu quả hơn 30% bằng cách quản lý dữ liệu một cách thông minh, giảm thiểu lỗi CPU và lock, từ đó tiết kiệm chi phí và nâng cao hiệu suất dây chuyền xử lý.

Agentic Workloads on Airflow: Observable, Retryable, and Auditable by Design

A deep-dive into building agentic LLM pipelines on Apache Airflow 3 using Dynamic Task Mapping and the apache-airflow-providers-common-ai provider. The post walks through a multi-dimensional survey analysis DAG that fans out four parallel SQL-generation LLM calls, executes them via Apache DataFusion, collects results, and synthesizes a narrative with a second LLM call — all with each step named, logged, independently retryable, and auditable via XCom. The pattern is contrasted with opaque agent harness reasoning loops, highlighting how Airflow's task boundaries enforce SQL Architect/Critic/Narrator role separation and make every intermediate artifact inspectable. The post also covers human-in-the-loop approval via ApprovalOperator and discusses the deliberate tradeoff of DAG acyclicity versus generative feedback loops.

Introducing the Apache Airflow Registry

Apache Airflow has launched the Airflow Registry, a searchable catalog hosted at airflow.apache.org/registry/ covering 98 official providers and 1,600+ modules including operators, hooks, sensors, triggers, and transfers. Key features include a global search (Cmd+K), per-provider pages with install commands and version selectors, a Connection Builder that generates URI/JSON/Env Var formats, an Explore page organized by category, a Stats page, and a JSON API accessible to IDE extensions and AI tools. The registry updates automatically when new provider versions are published. Upcoming additions include third-party provider support and richer per-module documentation pages.