#polars

Pre-release of Polars 2.0

Polars là thư viện DataFrame viết bằng Rust có API Python, và bản pre‑release 2.0 đang được công bố. Phiên bản này tích hợp streaming engine vào mọi truy vấn lazy, cho phép thực hiện xử lý luồng thay vì tải toàn bộ dữ liệu vào bộ nhớ. Với streaming engine, các truy vấn lazy có thể làm việc trên tập dữ liệu lớn hơn RAM mà mức tiêu thụ bộ nhớ gần như không đổi, đồng thời giảm thời gian thực hiện do tránh việc sao chép dữ liệu trung gian. Việc đưa streaming engine vào mô hình lazy cho thấy cách mở rộng khả năng xử lý dữ liệu lớn mà không cần thay đổi API hiện tại, nên các nhà phát triển cân nhắc nâng cấp để xử lý workload out‑of‑core. Bản pre‑release vẫn có thể thay đổi, vì vậy trước khi áp dụng trong sản phẩm nên kiểm tra tính ổn định và benchmark trên dữ liệu thực tế.

Polars 2.0 giới thiệu công cụ streaming cho tất cả các truy vấn lazy, giúp xử lý dữ liệu lớn hiệu quả hơn.

Migration strategies for going from pandas to Polars

Bài viết hướng dẫn các chiến lược di chuyển từ thư viện pandas sang Polars, từ việc tối ưu hóa từng phần quan trọng đến toàn bộ quy trình, cũng như cách thực hiện di chuyển thủ công hoặc bằng mô hình ngôn ngữ lớn (LLM).

Lập trình viên cần đọc bài này để tìm hiểu cách chuyển đổi hiệu quả từ Pandas sang Polars, từ những đoạn mã quan trọng nhất đến toàn bộ pipeline, giúp tối ưu hóa hiệu suất và giảm thiểu rủi ro khi chuyển đổi.

When Chain-Ladder Factors Misbehave: Smoothing Reserves with Polars and Whittaker-Henderson

Chain-Ladder reserving in polars, validated against R and Whittaker-Henderson smoothing for a difficult development pattern.

Profile your Polars queries

You can now query profile your locally running queries live & historically in our platform.

Getting Started with Rust as Python Devs

Ngày càng nhiều công cụ Python được viết bằng Rust như Ruff, Pydantic, Polars, uv và Granian. Ruff có thể lint toàn bộ codebase CPython chỉ trong 0.3 giây, thể hiện hiệu suất vượt trội. Sự phổ biến của Rust trong hệ sinh thái Python đến từ khả năng xử lý nhanh và giảm đáng kể thời gian biên dịch. Các lập trình viên Python nên tìm hiểu Rust để hiểu cách tối ưu hóa hiệu suất và phát triển công cụ nhanh hơn.

Rust mang lại hiệu năng vượt trội cho các công cụ Python như ruff, pydantic và polars, giúp lập trình viên tối ưu hóa ứng dụng của mình.

Pyrefly v1.3: More configurability and composable tensor shapes

Pyrefly phiên bản 1.3 mang đến khả năng cấu hình linh hoạt hơn cùng baseline mới. Phiên bản này giới thiệu tensor shape DSL cho phép người dùng định dạng tensor một cách linh hoạt. Hệ quả là thư viện mở rộng khả năng kiểm tra DataFrame schema với nhiều tùy chọn hơn. Đáng học hỏi là cách Pyrefly kết hợp giữa tính linh hoạt trong cấu hình và tính kiểm soát chặt chẽ trong kiểm tra dữ liệu, giúp các lập trình viên xây dựng pipeline ML hiệu quả hơn.

Pyrefly v1.3 mang đến khả năng tùy chỉnh cao hơn và dạng tensor có thể tổ hợp, giúp lập trình viên xử lý dữ liệu linh hoạt hơn.

Pandas Should Go Extinct

Pandas đã từng là công cụ thống trị trong phân tích dữ liệu Python nhưng giờ đã tỏ ra lỗi thời so với các thư viện hiện đại. Nguyên nhân chính là Pandas sử dụng chuỗi processing đơn-thread và tiêu tốn bộ nhớ đáng kể khi xử lý dataset lớn, trong khi Polars và Dask cung cấp parallel processing và tối ưu memory management hiệu quả hơn. Hệ quả là Pandas trở thành nút thắt cổ chai trong các pipeline data science hiện đại, đặc biệt khi xử lý data frame hàng triệu hàng với tốc độ chậm hơn 10-20 lần so với các đối thủ. Điều đáng học là việc chuyển đổi từ Pandas sang Polars không quá phức tạp nhưng mang lại hiệu năng vượt trội, thể hiện rõ qua benchmark test của bạn Jake VanderPlas.

Bài viết giúp bạn hiểu lý do tại sao Pandas đã lỗi thời và cần được thay thế bởi các công cụ hiện đại hơn.

A new streaming backend for the Polars GPU engine

The Polars GPU engine now runs on a streaming backend built on RapidsMPF. Queries spill past GPU memory, scale from one GPU to many, and run TB-scale benchmarks up to 23x faster than the CPU engine.

Announcing Polars 1.44

Polars 1.44 brings Iceberg schema evolution on sink, an adaptive rate limiter for cloud I/O, and correlated subqueries in the SQL layer.

PyCoder’s Weekly

Polars vs SQL, Constants, deque, and More

How BMLL Processes 1.5 TB of Market Data in Under 4 Minutes

BMLL Technologies processes petabytes of nanosecond-precision market data for the world's most sophisticated trading teams. In this case study, they share what a 48x performance improvement over pandas looks like in practice, and what it means for execution analysis at scale.

Should AI Developers Make the Switch from Polars to Pandas?

Pandas là thư viện dữ liệu chuẩn của Python suốt hơn một thập kỷ, nhưng Polars nổi lên như một lựa chọn nhanh hơn nhờ xử lý song song trên nhiều lõi CPU, thực thi lười (lazy execution) tối ưu truy vấn qua .collect(), và định dạng bộ nhớ cột của Apache Arrow giúp tương tác không sao chép. Tuy nhiên, Polars không hoàn toàn thay thế Pandas vì Pandas vẫn được hệ sinh thái Python hỗ trợ rộng rãi, trong khi Polars phù hợp hơn với dữ liệu lớn và biến đổi phức tạp, còn Pandas đủ dùng cho công việc khám phá dữ liệu và dự án nhỏ.

Lập trình viên nên đọc bài này để hiểu cách lựa chọn giữa Pandas và Polars không chỉ dựa trên tốc độ mà là dựa trên nhu cầu dự án, kích thước dữ liệu và khả năng tích hợp với các công cụ Python hiện đại.