#apache-airflow

Weather Analytics Made Simple with Airflow, PostgreSQL, and Metabase

Bài viết hướng dẫn xây dựng pipeline dữ liệu thời tiết toàn diện bằng các công cụ mã nguồn mở: Airflow điều phối, PostgreSQL lưu trữ, Metabase tạo dashboard BI, tất cả chạy trên Docker. Dữ liệu được thu thập mỗi giờ từ WeatherAPI cho các thủ phủ bang Brazil, xử lý qua DAG nhiều tầng của Airflow, rồi hiển thị dưới dạng dashboard thời tiết hiện tại, lịch sử và dự báo trên Metabase.

Lập trình viên muốn tự động hóa và tích hợp các công cụ phân tích dữ liệu từ API đến báo cáo trực quan sẽ tìm hiểu cách xây dựng một pipeline hoàn chỉnh với Airflow, PostgreSQL và Metabase để tối ưu hóa quy trình xử lý và chia sẻ thông tin thời tiết hiệu quả.

Building a RAG Investment Assistant

For VC teams, valuable knowledge is everywhere: PDFs, inboxes, call transcripts, news feeds, and internal notes. The problem is getting the right context when you actually need it. We built a platform that brings all of this information into a single searchable knowledge base, with LLM agents on top that can: • prepare meeting briefings • research people and companies • answer questions across the firm’s internal knowledge • continuously ingest and structure new information In the article, we go under the hood and explain how the system works, including its storage architecture, seven-stage ingestion pipeline, Airflow automations, and the agent layer that we substantially redesigned after the first production release. We also cover a production incident that changed how we approached monitoring and reliability. If you’re building RAG systems, internal AI assistants, or agentic workflows on top of large amounts of unstructured company data, this one gets pretty technical.

Amazon MWAA Serverless now supports PythonOperator and BashOperator

Discover more about what's new at AWS with Amazon MWAA Serverless now supports PythonOperator and BashOperator

I'm building a PC with a back-connect motherboard, so I'll never have to thread cables behind the tray again

Việc lắp ráp PC trở nên dễ dàng hơn nhờ bo mạch chủ có cổng kết nối phía sau, giúp loại bỏ nhu cầu luồn dây phía sau khay.

Nếu bạn đang xây dựng máy tính với mẹo board kết nối ngược (back-connect) thì bài này sẽ giúp bạn tiết kiệm thời gian và tránh những lỗi rắc rối về cáp khi thiết kế bố cục PC hiệu quả.

Who Runs Your Machine Learning Pipeline While You Sleep?

Các pipeline machine learning vẫn hoạt động liên tục ngay cả khi con người không giám sát, xử lý dữ liệu và đưa ra quyết định quan trọng trong im lặng.

Những lập trình viên chuyên về ML cần đọc bài này để hiểu cách tự động hóa và quản lý pipeline học máy hiệu quả, từ việc tối ưu hóa thời gian chạy mô hình cho đến việc đảm bảo hệ thống hoạt động 24/7 mà không cần can thiệp thủ công.

Leveraging Data Assets features in Airflow 3.0 to optimise resource utilization by more than 30%

Halodoc giảm tới hơn 30% tài nguyên Airflow bằng cách tận dụng Data Assets và sử dụng toán tử deferrable Redshift, từ đó cắt giảm đáng kể CPU của worker và lỗi khóa.

Lập trình viên nên đọc bài này để khám phá cách Data Assets trong Airflow 3.0 giúp tối ưu hóa sử dụng tài nguyên hiệu quả hơn 30% bằng cách quản lý dữ liệu một cách thông minh, giảm thiểu lỗi CPU và lock, từ đó tiết kiệm chi phí và nâng cao hiệu suất dây chuyền xử lý.

Amazon MWAA now supports Apache Airflow version 2.11.2

Discover more about what's new at AWS with Amazon MWAA now supports Apache Airflow version 2.11.2

3 Python + Data Warehouse Patterns I Use in Every Production Pipeline

3 Python + Data Warehouse Patterns I Use in Every Production Pipeline After 1.5 years building enterprise data pipelines, these are the patterns I reach for every single time. Every data engineer …

How Checkout.com tallies data with Cloud Composer 3

With Managed Service for Apache Airflow, this payments provider built a more scalable, cost-efficient, and robust data foundation.

Welcome to the Production Grade ML Systems Series!

Bài viết giới thiệu loạt bài về hệ thống Machine Learning (ML) đạt tiêu chuẩn sản xuất do Zuu Crew – Học viện ML đầu tiên tại Sri Lanka – biên soạn, tập trung vào huấn luyện mô hình ML.

Một lập trình viên nên đọc bài này vì nó không chỉ giới thiệu cách xây dựng mô hình ML đơn giản mà còn tập trung vào cách chuyển mô hình thành hệ thống sản xuất thực tế, giúp bạn hiểu rõ về quy trình triển khai, quản lý và tối ưu hóa mô hình trong môi trường sản xuất.

Beyond the Hardware Hub: How ALC Taipei Turned Computex 2026 into a Milestone for the Apache Way

ALC Taipei đã tạo nên dấu ấn tại Computex 2026 bằng cách giới thiệu gian hàng chuyên biệt đầu tiên về dự án mã nguồn mở ASF, thu hút hơn 30 thành viên tham gia trong suốt năm ngày và giới thiệu các dự án như Apache Kafka, Airflow, Ozone cùng nhiều dự án khác. Nhóm đang triển khai kế hoạch dài hạn nhằm thúc đẩy chính sách công về mã nguồn mở tại Đài Loan, hợp tác với trường đại học đào tạo phương pháp đóng góp upstream, và mở rộng cộng đồng OpenSource4You. Họ cũng đặt mục tiêu tham dự các sự kiện Community Over Code tại Bắc Kinh và Glasgow, đồng thời dự kiến tổ chức một sự kiện tương tự tại Đài Bắc.

Những lập trình viên muốn xây dựng tương lai công nghệ bền vững và có ảnh hưởng thực sự nên đọc bài này để khám phá cách một cộng đồng nhỏ nhưng quyết tâm của ALC Taipei đã biến Computex 2026 thành một bước đột phá trong việc vận động và định hình phong cách làm việc mở (Apache Way) trong ngành công nghệ.

Ask Your Survey Anything: Building AI Analysis Pipelines with Airflow 3

A walkthrough of two Airflow 3 DAGs that analyze the 2025 Airflow Community Survey using natural language. The first pipeline is interactive, pausing for human review at both the question input and result approval stages via HITLEntryOperator and ApprovalOperator. The second runs on a monthly schedule, automatically downloading the CSV, validating its schema with LLMSchemaCompareOperator, generating SQL via LLMSQLQueryOperator, executing it with Apache DataFusion through AnalyticsOperator, and emailing the result. Both pipelines use the apache-airflow-providers-common-ai package and support multiple LLM backends (OpenAI, Anthropic, Google Vertex, AWS Bedrock) via a single connection swap.

Introducing the Apache Airflow Registry

Apache Airflow has launched the Airflow Registry, a searchable catalog hosted at airflow.apache.org/registry/ covering 98 official providers and 1,600+ modules including operators, hooks, sensors, triggers, and transfers. Key features include a global search (Cmd+K), per-provider pages with install commands and version selectors, a Connection Builder that generates URI/JSON/Env Var formats, an Explore page organized by category, a Stats page, and a JSON API accessible to IDE extensions and AI tools. The registry updates automatically when new provider versions are published. Upcoming additions include third-party provider support and richer per-module documentation pages.

Agentic Workloads on Airflow: Observable, Retryable, and Auditable by Design

A deep-dive into building agentic LLM pipelines on Apache Airflow 3 using Dynamic Task Mapping and the apache-airflow-providers-common-ai provider. The post walks through a multi-dimensional survey analysis DAG that fans out four parallel SQL-generation LLM calls, executes them via Apache DataFusion, collects results, and synthesizes a narrative with a second LLM call — all with each step named, logged, independently retryable, and auditable via XCom. The pattern is contrasted with opaque agent harness reasoning loops, highlighting how Airflow's task boundaries enforce SQL Architect/Critic/Narrator role separation and make every intermediate artifact inspectable. The post also covers human-in-the-loop approval via ApprovalOperator and discusses the deliberate tradeoff of DAG acyclicity versus generative feedback loops.

Amazon MWAA Serverless now supports shared VPC configurations

Amazon MWAA Serverless now supports shared VPC subnets via AWS Resource Access Manager (AWS RAM). Previously, using subnets shared across accounts caused a validation error when creating MWAA Serverless workflows. The fix correctly validates subnet ownership in shared VPC configurations, matching behavior already available in MWAA Provisioned environments. This enables organizations using multi-account landing zone architectures with centralized networking to launch MWAA Serverless workflows in member accounts without workarounds. Amazon SageMaker Unified Studio Workflows users with shared VPC networking also benefit. The update is available in all AWS Regions where MWAA Serverless is supported.