MySQL CDC connector for ClickPipes is now Generally Available

Netguru28 Hot14 min1 d agoAITop

The strangler fig pattern: modernizing without a big-bang rewrite

The strangler fig pattern hiện đại hóa hệ thống legacy bằng cách thay thế từng phần nhỏ …

PostgreSQL17 Hot2 min13 d agoAI

PostgreSQL Migrator 1.0 : first stable release

Dalibo đã phát hành bản ổn định 1.0 của PostgreSQL Migrator, công cụ mã nguồn mở miễn phí cho phép di chuyển database từ Oracle và MySQL/MariaDB sang PostgreSQL. Được xây dựng hoàn toàn bằng Go, công cụ này cung cấp khả năng kiểm tra catalog ngoại tuyến, đánh giá độ phức tạp, giao diện web tương tác, chuyển đổi schema và dữ liệu, biên dịch SQL/PL-SQL qua công cụ transqlate, và sao chép dữ liệu tốc độ cao. PostgreSQL Migrator hỗ trợ nguồn từ Oracle 11g đến 26ai và MySQL 8.4+/MariaDB 10+, nhắm đến PostgreSQL 16-19, với bản 1.0 hiện chỉ hỗ trợ chuyển đổi roles, schemas, sequences, tables, virtual columns, constraints và indexes. Dự án đạt độ ổn định sau 1 năm beta và release candidates, với cam kết tương thích về cấu hình, CLI và dự án cho tất cả các bản 1.x.

PostgreSQL Migrator 1.0 cung cấp giải pháp toàn diện để chuyển đổi cơ sở dữ liệu từ Oracle và MySQL sang PostgreSQL với nhiều tính năng mạnh mẽ.

#open-source #database #postgresql Source

Planet MySQL31 Hot8 min23 d agoAI

Debugging MySQL Memory Alerts: When innodb_buffer_pool_size Isn't the Whole Story

Trên instance GCP c4d-standard-4, tiến trình MySQL tiêu tốn 10.4 GB RAM dù innodb_buffer_pool_size chỉ được thiết lập là 7168 MB. Khoảng trống này được truy qua 4 lớp: dự kiến overhead từ InnoDB/Performance Schema/thread-buffer, khoảng ~9% mmap chunk padding trên buffer pool, sự tích tụ dirty pages của jemalloc trên DR replica không hoạt động, và nguyên nhân gốc - MALLOC_CONF không được thiết lập khiến decay của background_thread bị vô hiệu hóa. Các sửa chữa gồm giảm buffer pool thành bội số sạch (6144 MB), cắt giảm max_connections từ 3000 xuống 500, bật background_thread của jemalloc với decay 5 giây, và thêm swap để phòng OOM, giúp giảm RSS xuống còn ~7.9 GB. Bài viết cung cấp kiến thức sâu về quản lý memory của MySQL khi sử dụng jemalloc, cách tối ưu buffer pool size và thiết lập MALLOC_CONF phù hợp.

Lập trình viên cần đọc bài này để hiểu cách điều khiển và tối ưu hóa bộ nhớ InnoDB trên MySQL khi các tham số cơ bản như innodb_buffer_pool_size không đủ để giải quyết cảnh báo nhớ, khi hệ thống vẫn tiêu thụ nhiều bộ nhớ hơn dự kiến do các yếu tố như cấu hình bộ nhớ phân vùng, quá trình làm sạch nhớ của jemalloc, hoặc tình trạng replica hoạt động không hiệu quả.

#database #mysql Source

Planet MySQL55 Hot2 min1 mo agoAI

MySQL Best Practice : not using date / time types, nor ENUM

Người thực hành MySQL khuyên không nên dùng các kiểu dữ liệu phức tạp như TIMESTAMP, DATE/TIME hay ENUM, thay vào đó nên dùng các kiểu số đơn giản hơn. Việc sử dụng ENUM gặp vấn đề khi xóa giá trị buộc phải rebuild toàn bộ bảng, cùng lỗi MySQL khiến MIN()/MAX() hoạt động không nhất quán trên ENUM.

Lập trình viên nên đọc bài này để tránh rủi ro về hiệu suất, tính bảo trì và tính nhất quán khi sử dụng các kiểu dữ liệu phức tạp như ENUM và TIMESTAMP trong MySQL, mà thay vào đó có thể áp dụng các giải pháp đơn giản và đáng tin cậy hơn.

#backend #mysql Source

DuckDB4 Hot5 min7 d agoAI

DuckDB Skills for Claude Code

DuckDB Skills for Claude Code bổ sung nhiều khả năng mới cho Claude Code, cho phép sử dụng DuckDB CLI để đọc file dữ liệu, chạy truy vấn và chuyển đổi định dạng. Plugin này hỗ trợ làm việc với spatial data, khám phá object storage, tìm kiếm tài liệu và truy hồi các phiên làm việc trước. Các kỹ năng được triển khai thông qua CLI DuckDB giúp xử lý hiệu quả nhiều loại file dữ liệu khác nhau. Đây là giải pháp hữu ích cho lập trình viên cần xử lý phân tích dữ liệu trực tiếp trong môi trường Claude Code.

Plugin duckdb-skills giúp Claude Code mở rộng khả năng xử lý dữ liệu với nhiều kỹ thuật hữu ích từ DuckDB CLI.

#ai-agent #sql #data-engineering Source

Polars Blog18 Hot7 min21 d agoAI

Pre-release of Polars 2.0

Polars là thư viện DataFrame viết bằng Rust có API Python, và bản pre‑release 2.0 đang được công bố. Phiên bản này tích hợp streaming engine vào mọi truy vấn lazy, cho phép thực hiện xử lý luồng thay vì tải toàn bộ dữ liệu vào bộ nhớ. Với streaming engine, các truy vấn lazy có thể làm việc trên tập dữ liệu lớn hơn RAM mà mức tiêu thụ bộ nhớ gần như không đổi, đồng thời giảm thời gian thực hiện do tránh việc sao chép dữ liệu trung gian. Việc đưa streaming engine vào mô hình lazy cho thấy cách mở rộng khả năng xử lý dữ liệu lớn mà không cần thay đổi API hiện tại, nên các nhà phát triển cân nhắc nâng cấp để xử lý workload out‑of‑core. Bản pre‑release vẫn có thể thay đổi, vì vậy trước khi áp dụng trong sản phẩm nên kiểm tra tính ổn định và benchmark trên dữ liệu thực tế.

Polars 2.0 giới thiệu công cụ streaming cho tất cả các truy vấn lazy, giúp xử lý dữ liệu lớn hiệu quả hơn.

#python #data-engineering #polars Source

Crunchy Data38 Hot17 min1 mo agoAI

Postgres 19: How Our Advice Has Changed Since...

Bài viết đánh giá lại những lời khuyên trước đây về các tính năng như COPY, TOAST, BRIN, covering indexes và partitioning trong PostgreSQL, xem xét những thay đổi từ các phiên bản Postgres gần đây và đưa ra khuyến nghị cho phiên bản sắp tới (Postgres 19).

Một lập trình viên nên đọc bài này để cập nhật cách tối ưu hóa cơ sở dữ liệu PostgreSQL 19 mới nhất, đặc biệt là về các kỹ thuật như COPY, TOAST, BRIN, và cách sử dụng các chỉ mục bù và phân vùng hiệu quả, giúp cải thiện hiệu suất và quản lý tài nguyên trong ứng dụng hiện đại.

#database #postgresql #data-engineering Source

DoltHub Blog43 Hot9 min1 mo agoAI

Doltgres is as Fast as MySQL is Slow

Doltgres đã đạt hiệu suất tương đương MySQL nhờ những tối ưu hóa gần đây.

Lập trình viên muốn tối ưu ứng dụng database cho hiệu suất cao và khả năng mở rộng nhanh chóng nên đọc bài này để khám phá cách Doltgres vượt trội so với MySQL trong các trường hợp sử dụng thực tế.

#performance #golang #postgresql Source

MySQL CDC connector for ClickPipes is now Generally Available

Recommended for you

The strangler fig pattern: modernizing without a big-bang rewrite

Bình luận

PostgreSQL Migrator 1.0 : first stable release

Debugging MySQL Memory Alerts: When innodb_buffer_pool_size Isn't the Whole Story

MySQL Best Practice : not using date / time types, nor ENUM

DuckDB Skills for Claude Code

Pre-release of Polars 2.0

Postgres 19: How Our Advice Has Changed Since...

Doltgres is as Fast as MySQL is Slow

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads