#etl

How Snowflake AI Functions Eliminate 80% of Custom Pipeline Code

Snowflake giới thiệu AI Functions giúp giảm tới 80% mã code pipeline tùy chỉnh bằng cách thay thế các script Python, API bên ngoài và công cụ orchestration bằng SQL tích hợp sẵn.

Lập trình viên cần đọc bài này để khám phá cách Snowflake AI tự động hóa việc xử lý dữ liệu bằng SQL thay vì viết lại các script Python hoặc kết nối API phức tạp, giúp tiết kiệm thời gian và cải thiện hiệu suất trong việc xử lý pipeline.

What Is a Data Pipeline? How Data Actually Moves Through a Modern System

Trong hệ thống hiện đại, data pipeline là chuỗi quá trình vận chuyển dữ liệu từ nguồn thô đến thông tin hữu ích. Quy trình này bao gồm ingestion (tiếp nhận dữ liệu), validation (kiểm tra tính toàn vẹn), transformation (chuyển đổi định dạng) và storage (lưu trữ). Các công cụ như Apache Kafka, Apache Spark hay dbt giúp xử lý hàng terabyte dữ liệu mỗi ngày, giảm thiểu sự chậm trễ từ nguồn đến đích. Hệ thống pipeline hiệu quả giúp doanh nghiệp ra quyết định nhanh hơn nhờ dữ sạch và cập nhật liên tục.

Bài viết này giúp lập trình viên hiểu rõ cách dữ liệu di chuyển qua hệ thống hiện đại từ khi thu thập đến khi lưu trữ và sử dụng.

Run Complex Data Transformations in Data 360 with Code Extension

Build, deploy, run, and troubleshoot complex transformations with Python and PySpark while keeping execution governed by Data 360.

What is Data Transformation?

Data transformation chuyển đổi dữ liệu thô thành định dạng hữu ích cho phân tích và AI. Các kỹ thuật như ETL (Extract, Transform, Load) giúp xử lý và chuẩn hóa dữ liệu từ nhiều nguồn khác nhau. Quá trình này cải thiện chất lượng dữ liệu và giảm lỗi trong phân tích. Các best practice trong data transformation đảm bảo hiệu suất và độ chính xác cho hệ thống AI. Lập trình viên nên tìm hiểu về these techniques để xây dựng pipeline xử lý dữ liệu hiệu quả.

Bài viết này giúp lập trình viên nắm vững kỹ thuật biến đổi dữ liệu thô thành định dạng hữu ích cho phân tích và trí tuệ nhân tạo.

Couchbase Analytics + Apache Iceberg on Google Cloud: Query Your Lakehouse Without ETL

Query Apache Iceberg tables on Google Cloud with Couchbase Analytics. No ETL, no data movement, SQL++ queries, and snapshot-based time travel included.

Modernizing SQL ETL in Lakehouse with Declarative Patterns

Databricks brings declarative ETL to the SQL Editor with APPEND, AUTO CDC, and REPLACE WHERE flows in Lakehouswe.

Step by step: Hubspot connector from Fivetran to dlthub

Di chuyển pipeline HubSpot từ Fivetran sang dlt bằng cách phân tích ngược schema nhà cung cấp, tái thiết lập quá trình tải dữ liệu và xây dựng lại 13 model dbt.

Nếu bạn đang làm việc với các dữ liệu từ HubSpot và muốn tự động hóa chuyển đổi hoặc tích hợp chúng vào pipeline Data Warehouse một cách hiệu quả, bài viết này sẽ hướng dẫn bạn cách xây dựng kết nối từ Fivetran sang dltHub một cách chi tiết, giúp tiết kiệm thời gian và tránh lỗi trong quá trình chuyển đổi schema và tái tạo mô hình dbt.

Change Data Capture vs Batch ETL for AI Agents

CDC thay thế các pipeline ETL batch lỗi thời bằng dữ liệu thời gian thực cho AI agents, giảm độ trễ từ hàng giờ xuống vài giây nhờ Redis và RDI.

Một lập trình viên cần đọc bài này để hiểu cách chuyển đổi từ ETL batch truyền thống sang Change Data Capture (CDC) để xây dựng các hệ thống AI hiệu quả hơn, tránh mất thời gian và chi phí do dữ liệu cũ kém chất lượng gây ra.

What is Consolidating Data? Key Techniques and Benefits Explained

Tổng hợp dữ liệu (consolidating data) là quá trình hợp nhất thông tin từ nhiều nguồn khác nhau vào một hệ thống thống nhất để nâng cao khả năng quản lý, phân tích và ra quyết định. Các kỹ thuật phổ biến bao gồm ETL (Extract, Transform, Load), virtualization, và sử dụng data warehouse. Lợi ích chính gồm cải thiện độ chính xác, tiết kiệm chi phí và tăng hiệu quả hoạt động.

Một lập trình viên nên đọc bài này để hiểu cách tích hợp và tối ưu hóa dữ liệu từ nhiều nguồn khác nhau, giúp xây dựng cơ sở dữ liệu mạnh mẽ và hỗ trợ phân tích hiệu quả trong các dự án công nghệ hiện đại.

4 Best Practices for Effective Data Vault Architecture Implementation

Triển khai kiến trúc Data Vault hiệu quả bằng bốn phương pháp tốt nhất nhằm cải thiện chất lượng dữ liệu và quản trị dữ liệu.

Một lập trình viên nên đọc bài này để hiểu cách xây dựng cơ sở dữ liệu hiệu quả bằng Data Vault, giúp tối ưu hóa quản lý dữ liệu, tránh rủi ro về chất lượng và tuân thủ quy trình.

Master Data Validation Tools: Best Practices for Data Engineers

Các kỹ sư dữ liệu nên áp dụng các phương pháp tốt nhất khi sử dụng công cụ validation data nhằm đảm bảo tính toàn vẹn và nâng cao chất lượng dữ liệu.

Lập trình viên cần đọc bài này để hiểu cách áp dụng công cụ kiểm tra dữ liệu hiệu quả, từ đó tối ưu hóa chất lượng dữ liệu trong các pipeline, tránh lỗi không mong muốn và tiết kiệm thời gian debug trong tương lai.

4 Steps to Master Schema Migration for Data Engineers

Bốn bước quan trọng để thành thạo schema migration, giúp nâng cao tính toàn vẹn dữ liệu và hiệu quả vận hành.

Lập trình viên data nên đọc bài này để hiểu cách chuyển đổi schema một cách hiệu quả, tránh rủi ro mất dữ liệu và tối ưu hóa quy trình xử lý dữ liệu trong các dự án lớn.

New BigQuery Data Transfer Service Capabilities

Dịch vụ BigQuery Data Transfer Service bổ sung khả năng mới, cho phép tự động hóa việc đưa dữ liệu từ nhiều nguồn đa dạng vào data warehouse với chi phí thấp.

Lập trình viên nên đọc bài này để khám phá cách tự động hóa và tối ưu hóa việc chuyển dữ liệu từ nhiều nguồn khác nhau vào BigQuery với chi phí thấp, giúp tiết kiệm thời gian và công sức trong việc xây dựng hệ thống xử lý dữ liệu hiệu quả.

The Medallion Data Architecture: An Introduction

The medallion architecture divides a data platform into three layers — bronze, silver, and gold — each with progressively higher data quality. Bronze stores raw, immutable ingested data with metadata. Silver applies validation, deduplication, type casting, and quarantines bad records. Gold contains aggregated, business-ready datasets. A working Python and DuckDB example demonstrates a retail orders pipeline that ingests CSV data, validates and cleans it through the layers, quarantines invalid rows, and produces daily regional sales aggregates. The post also covers idempotent ingestion using file hashes, production considerations like cloud object storage formats (Iceberg, Delta, Hudi), and orchestration tools like Airflow or Dagster.