Mainframe Data Meets Snowflake Datastream: TDT Goes Snowflake Native

Advanced Code Extension PySpark Examples for Batch Data Transforms

Các script batch transform trong Data 360 giúp bạn thực thi logic Python tùy biến để xử lý data lake objects (DLOs) và data model objects (DMOs) trong môi trường tính toán riêng biệt. Bài viết tập trung vào các ví dụ nâng cao sử dụng PySpark cho batch data transforms, cho phép xử lý dữ liệu quy mô lớn với hiệu suất cao. Công nghệ PySpark được tối ưu hóa để chạy trên cluster Apache Spark, giúp tăng tốc độ xử lý dữ liệu lớn lên đến 10-100 lần so với xử lý tuần tự thông thường. Các kỹ sư có thể học hỏi cách kết hợp PySpark với Data 360 API để tạo pipeline xử lý dữ liệu phức tạp, đặc biệt hữu ích khi cần xử lý dữ liệu không cấu trúc hoặc thực hiện các phép toán toán học phức tạp trên dữ liệu lớn.

Các lập trình viên nên đọc bài này để học hỏi các ví dụ script nâng cao giúp tối ưu hóa việc biến đổi dữ liệu hàng loạt bằng PySpark trong Data 360.

Tempo 3.1 release: new features for Kafka, TraceQL metrics updates, trace redaction, and more

Tempo 3.1 mang đến những cải thiện đáng kể cho Kafka client, giúp tăng hiệu suất và ổn …

**Data-Driven vs Event-Driven Architecture: How to Pick the Right One**

Data-driven architecture tập trung vào nguồn dữ liệu chung (database, data warehouse) mà các service truy vấn, trong khi event-driven dựa trên message broadcast khi có sự kiện, được các service độc lập tiêu thụ. Data-driven coupling chặt hơn trong khi event-driven cho phép loose coupling nhưng tăng độ phức tạp hệ thống khi số lượng events lớn. Data-driven phù hợp cho analytics, ML và ứng dụng đơn giản, còn event-driven tối ưu cho features thời gian thực, microservices và scaling không đồng đều. Hai phương pháp này thực chất bổ trợ chứ không cạnh tranh nhau - câu hỏi quyết định nên bắt đầu đơn giản và chỉ thêm events khi thực sự cần thiết.

Bài viết này giúp lập trình viên lựa chọn kiến trúc phù hợp giữa data-driven và event-driven dựa trên nhu cầu cụ thể của dự án.

The strangler fig pattern: modernizing without a big-bang rewrite

The strangler fig pattern hiện đại hóa hệ thống legacy bằng cách thay thế từng phần nhỏ thay vì viết lại toàn bộ cùng lúc. Bài gốc chỉ ra vấn đề về quyền sở hữu dữ liệu trong giai đoạn chồng chéo, chi phí vận hành song song hai hệ thống, và lý do các dự án migration thường bị ì tại giai đoạn cuối. Những con số cụ thể về chi phí và timeline không được đề cập trong tài liệu tham khảo. Lập trình viên nên đọc bài gốc để hiểu rõ các rủi ro thực tế và chiến lược xử lý khi áp dụng pattern này vào dự án.

Bài này giúp lập trình viên hiểu thách thức thực tế khi áp dụng Strangler Fig pattern, đặc biệt là vấn đề sở hữu dữ liệu và chi phí vận hành hệ thống song song.

Postgres 19: How Our Advice Has Changed Since...

Bài viết đánh giá lại những lời khuyên trước đây về các tính năng như COPY, TOAST, BRIN, covering indexes và partitioning trong PostgreSQL, xem xét những thay đổi từ các phiên bản Postgres gần đây và đưa ra khuyến nghị cho phiên bản sắp tới (Postgres 19).

Một lập trình viên nên đọc bài này để cập nhật cách tối ưu hóa cơ sở dữ liệu PostgreSQL 19 mới nhất, đặc biệt là về các kỹ thuật như COPY, TOAST, BRIN, và cách sử dụng các chỉ mục bù và phân vùng hiệu quả, giúp cải thiện hiệu suất và quản lý tài nguyên trong ứng dụng hiện đại.

Monolith to Service Architecture

Di chuyển từ kiến trúc monolith sang microservices cần áp dụng các pattern cụ thể thay vì viết lại toàn bộ. Bốn chiến lược chính gồm: Strangler Fig (dần dần chuyển lưu lượng qua API gateway), Parallel Run (chạy song song để kiểm chứng), Collaborator (thêm microservices mới mà không sửa core), và Change Data Capture (đồng bộ dữ liệu real-time bằng Debezium/Kafka Connect). Các pattern này hiệu quả nhất khi kết hợp theo trình tự trong quá trình chuyển đổi.

Lập trình viên nên đọc bài này để hiểu cách chuyển đổi từ kiến trúc monolith sang microservices một cách chỉnh xác, ít rủi ro và tối ưu hóa hiệu suất, không phải là một thay đổi đột ngột mà là một quá trình thuần túy, có kế hoạch với các mẫu thiết kế hiệu quả.

AI Generated ETL Worked on Day One. Then Came Monday.

ETL do AI tạo ra hoạt động hoàn hảo trong ngày đầu tiên, nhưng gặp sự cố khi có file trễ, file trùng và file chứa toàn số zero. Các vấn đề này phát sinh do AI chưa được huấn luyện với các trường hợp ngoại lệ và dữ liệu bất thường trong quy trình thực tế. Hệ quả là hệ thống sụp đổ khi gặp dữ liệu không như kỳ vọng, trong khi job ETL cũ đã xử lý được những tình huống tương tự nhờ kinh nghiệm tích lũy. Bài viết nhắc nhở chúng ta rằng AI cần được huấn luyện với nhiều tình huống edge case hơn và cần có cơ chế fallback cho các hệ thống quan trọng.

Bài viết này giúp lập trình viên nhận thức được những thách thức thực tế khi triển khai AI generated ETL mà có thể không được đề cập trong các bài test ban đầu.