Ask Your Survey Anything: Building AI Analysis Pipelines with Airflow 3

A walkthrough of two Airflow 3 DAGs that analyze the 2025 Airflow Community Survey using natural language. The first pipeline is interactive, pausing for human review at both the question input and result approval stages via HITLEntryOperator and ApprovalOperator. The second runs on a monthly schedule, automatically downloading the CSV, validating its schema with LLMSchemaCompareOperator, generating SQL via LLMSQLQueryOperator, executing it with Apache DataFusion through AnalyticsOperator, and emailing the result. Both pipelines use the apache-airflow-providers-common-ai package and support multiple LLM backends (OpenAI, Anthropic, Google Vertex, AWS Bedrock) via a single connection swap.

Nguồn: https://airflow.apache.org/blog/ai-survey-analysis-pipelines. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

InfoQ1 Hot4 phút2 giờ trướcAI

AlloyDB Ships Proxy Models That Replace LLM Calls with Local Inference Inside the Database

Google giới thiệu AlloyDB AI functions với hai kỹ thuật tăng tốc cho truy vấn SQL sử dụng LLM: smart batching (gọi model theo lô, đạt 10.000 rows/giây) và kiến trúc proxy model (huấn luyện model nhẹ trong database bằng PREPARE, chạy nội bộ tới 100.000 rows/giây, giảm 6.000 lần chi phí). Proxy model hiện ở chế độ preview cho ai.if, bổ sung thêm các hàm ai.summarize, ai.agg_summarize, ai.analyze_sentiment cùng MCP server quản lý cho AI agent. Các số liệu benchmark từ thử nghiệm nội bộ cần được xác thực thêm trước khi triển khai sản xuất.