Avoiding Entity Key Drift in a Data Lake: Step 2, When Fuzzy Matching Stops Working

MotherDuck1 Hot10 min15 h agoAI

AI Needs Data, Data Needs AI: Inside the Data Outpost Agenda

Data Outpost là hội nghị AI và dữ liệu diễn ra tại San Francisco vào ngày 5 tháng 11 năm 2026 với 13 phiên thảo luận từ các đội ngũ tại Canva, Stripe, DoorDash, Posit, dbt và nhiều công ty khác. Hội nghị tập trung vào các chủ đề tiên tiến như agents tự động viết mã, context layers, SQL harnesses và AI cho dữ liệu được quản lý chặt chẽ. Mỗi phiên thảo luận sẽ cung cấp kiến thức thực tiễn về cách các công nghệ AI được áp dụng trong giải quyết vấn đề dữ liệu thực tế. Người tham dự sẽ rời đi với những hiểu biết cụ thể về triển khai AI và quản lý dữ liệu hiệu quả trong các hệ thống phức tạp.

Bài cung cấp cái nhìn sâu về ứng dụng thực tế AI trong xử lý dữ liệu từ những công ty công nghệ hàng đầu.

#ai-agent #data-engineering #duckdb Source

SQL Authority2 Hot6 min7 d agoAI

AI Generated ETL Worked on Day One. Then Came Monday.

ETL do AI tạo ra hoạt động hoàn hảo trong ngày đầu tiên, nhưng gặp sự cố khi có file trễ, file trùng và file chứa toàn số zero. Các vấn đề này phát sinh do AI chưa được huấn luyện với các trường hợp ngoại lệ và dữ liệu bất thường trong quy trình thực tế. Hệ quả là hệ thống sụp đổ khi gặp dữ liệu không như kỳ vọng, trong khi job ETL cũ đã xử lý được những tình huống tương tự nhờ kinh nghiệm tích lũy. Bài viết nhắc nhở chúng ta rằng AI cần được huấn luyện với nhiều tình huống edge case hơn và cần có cơ chế fallback cho các hệ thống quan trọng.

Bài viết này giúp lập trình viên nhận thức được những thách thức thực tế khi triển khai AI generated ETL mà có thể không được đề cập trong các bài test ban đầu.

#ai-coding #data-engineering #data-quality Source

ClickHouse1 Hot6 min3 d agoAI

ClickHouse now writes Apache Iceberg tables to Microsoft OneLake

ClickHouse vừa tích hợp khả năng ghi trực tiếp vào Microsoft OneLake, dịch vụ data lake thống nhất trong Microsoft Fabric. Tính năng này cho phép ClickHouse ghi dữ liệu vào tables Apache Iceberg trên OneLake mà không cần middleware. Giải pháp sử dụng ClickHouse Iceberg table engine để hỗ trợ ghi dữ liệu vào Iceberg tables trong OneLake. Đây là bước hợp tác quan trọng giữa hai nền tảng dữ liệu lớn, giúp đơn giản hóa kiến trúc data pipeline và tăng tính linh hoạt cho người dùng làm việc với big data.

ClickHouse now writes Apache Iceberg tables to Microsoft OneLake mở ra khả năng tích hợp dữ liệu trực tiếp với Microsoft Fabric, giúp lập trình viên tối ưu hóa quy trình xử lý dữ liệu đa nền tảng.

#clickhouse #data-lake #apache-iceberg Source

Crunchy Data38 Hot17 min1 mo agoAI

Postgres 19: How Our Advice Has Changed Since...

Bài viết đánh giá lại những lời khuyên trước đây về các tính năng như COPY, TOAST, BRIN, covering indexes và partitioning trong PostgreSQL, xem xét những thay đổi từ các phiên bản Postgres gần đây và đưa ra khuyến nghị cho phiên bản sắp tới (Postgres 19).

Một lập trình viên nên đọc bài này để cập nhật cách tối ưu hóa cơ sở dữ liệu PostgreSQL 19 mới nhất, đặc biệt là về các kỹ thuật như COPY, TOAST, BRIN, và cách sử dụng các chỉ mục bù và phân vùng hiệu quả, giúp cải thiện hiệu suất và quản lý tài nguyên trong ứng dụng hiện đại.

#database #postgresql #data-engineering Source

Polars Blog18 Hot7 min1 mo agoAI

Pre-release of Polars 2.0

Polars là thư viện DataFrame viết bằng Rust có API Python, và bản pre‑release 2.0 đang được công bố. Phiên bản này tích hợp streaming engine vào mọi truy vấn lazy, cho phép thực hiện xử lý luồng thay vì tải toàn bộ dữ liệu vào bộ nhớ. Với streaming engine, các truy vấn lazy có thể làm việc trên tập dữ liệu lớn hơn RAM mà mức tiêu thụ bộ nhớ gần như không đổi, đồng thời giảm thời gian thực hiện do tránh việc sao chép dữ liệu trung gian. Việc đưa streaming engine vào mô hình lazy cho thấy cách mở rộng khả năng xử lý dữ liệu lớn mà không cần thay đổi API hiện tại, nên các nhà phát triển cân nhắc nâng cấp để xử lý workload out‑of‑core. Bản pre‑release vẫn có thể thay đổi, vì vậy trước khi áp dụng trong sản phẩm nên kiểm tra tính ổn định và benchmark trên dữ liệu thực tế.

Polars 2.0 giới thiệu công cụ streaming cho tất cả các truy vấn lazy, giúp xử lý dữ liệu lớn hiệu quả hơn.

#python #data-engineering #polars Source

DuckDB4 Hot5 min16 d agoAI

DuckDB Skills for Claude Code

DuckDB Skills for Claude Code bổ sung nhiều khả năng mới cho Claude Code, cho phép sử dụng DuckDB CLI để đọc file dữ liệu, chạy truy vấn và chuyển đổi định dạng. Plugin này hỗ trợ làm việc với spatial data, khám phá object storage, tìm kiếm tài liệu và truy hồi các phiên làm việc trước. Các kỹ năng được triển khai thông qua CLI DuckDB giúp xử lý hiệu quả nhiều loại file dữ liệu khác nhau. Đây là giải pháp hữu ích cho lập trình viên cần xử lý phân tích dữ liệu trực tiếp trong môi trường Claude Code.

Plugin duckdb-skills giúp Claude Code mở rộng khả năng xử lý dữ liệu với nhiều kỹ thuật hữu ích từ DuckDB CLI.

#ai-agent #sql #data-engineering Source

JavaScript in Plain English28 Hot6 min2 mo agoAI

LeetCode for Data Engineers? What Actually Works in 2026

LeetCode vốn hướng đến lập trình viên phần mềm, trong khi phỏng vấn data engineer lại yêu cầu kỹ năng khác. Bài viết gợi ý những nội dung thực tế cần luyện tập cho data engineer vào năm 2026.

Bạn nên đọc bài này để khám phá những kỹ năng thực tế và kỹ thuật cụ thể của data engineering—khác với các câu hỏi về lập trình truyền thống—để chuẩn bị tốt cho các cuộc phỏng vấn năm 2026.

#career #sql #data-engineering Source

Google Open Source Blog2 Hot7 min26 d agoAI

How much should you trust your OSS data?

Mỗi giây, mã nguồn mở đóng vai trò then chốt trong việc xây dựng phần mềm, nhưng chúng ta thường thiếu cái nhìn rõ ràng về toàn bộ hệ sinh thái này. Nguyên nhân kỹ thuật nằm ở việc dữ liệu OSS thường bị phân mảnh, thiếu metadata chuẩn và không có cơ chế xác thực nguồn gốc thống nhất. Hệ quả là các nhóm phát triển có thể vô tình tích hợp thành phần có lỗ hổng bảo mật hoặc giấy phép không tương thích, dẫn đến rủi ro chuỗi cung cấp. Điều đáng học là cần đầu tư vào công cụ tạo SBOM, kiểm tra provenance và áp dụng chính sách xác thực trước khi chấp nhận bất kỳ gói OSS nào. Với những biện pháp này, độ tin cậy của dữ liệu OSS có thể được nâng cao đáng kể, giúp quyết định kỹ thuật dựa trên thông tin chính xác và đầy đủ.

Bài này giúp lập trình viên hiểu được độ tin cậy của dữ liệu mã nguồn mở để đưa ra quyết định phát triển phần mềm an toàn và hiệu quả.

#open-source #github #data-quality Source

Avoiding Entity Key Drift in a Data Lake: Step 2, When Fuzzy Matching Stops Working

Recommended for you

Bình luận

AI Needs Data, Data Needs AI: Inside the Data Outpost Agenda

AI Generated ETL Worked on Day One. Then Came Monday.

ClickHouse now writes Apache Iceberg tables to Microsoft OneLake

Postgres 19: How Our Advice Has Changed Since...

Pre-release of Polars 2.0

DuckDB Skills for Claude Code

LeetCode for Data Engineers? What Actually Works in 2026

How much should you trust your OSS data?

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads