#polars

Should AI Developers Make the Switch from Polars to Pandas?

Pandas has been the standard Python data library for over a decade, but Polars has emerged as a faster alternative. Polars achieves its performance through parallel execution across multiple CPU cores, lazy execution with query optimization via .collect(), and Apache Arrow's columnar memory format enabling zero-copy interoperability. However, speed alone doesn't make Polars universally better — Pandas remains deeply embedded in the Python ecosystem, with broad support from visualization and ML frameworks. Polars excels with large datasets and complex transformations, while Pandas is sufficient for exploratory work and smaller projects. The two libraries are best viewed as complementary tools rather than competitors.

Validating Data With Pointblank in Python – Real Python

Hướng dẫn cách xác thực dữ liệu trong Python bằng thư viện Pointblank: khai báo các kiểm tra chất lượng, phân tách dữ liệu sạch khỏi dữ liệu lỗi, và tái chạy các kế hoạch xác thực từ tệp YAML.

Là người viết mã, bạn nên đọc bài này để học cách tự động hóa và tối ưu hóa quá trình kiểm tra chất lượng dữ liệu, giảm thiểu lỗi thủ công và tiết kiệm thời gian trong việc xử lý dữ liệu sạch và đáng tin cậy.

Polars vs DuckDB vs Pandas: Benchmark on 33 Million Rows

Bài viết so sánh hiệu năng giữa Polars, DuckDB và Pandas trên bộ dữ liệu 33 triệu hàng, xoay quanh những thảo luận gần đây về ưu điểm của Polars, DuckDB, Apache Arrow so với những hạn chế của Pandas.

Nếu bạn đang làm việc với dữ liệu lớn và cần tối ưu hiệu suất xử lý, bài này giúp bạn so sánh nhanh chóng Polars, DuckDB và Pandas trên 33 triệu dòng, giúp bạn lựa chọn công cụ phù hợp nhất cho dự án của mình.

How Much of a Data Science Workflow Can Run on a GPU Today? Part 1: Accelerating Data Preparation

GPU acceleration is now practical for tabular data workflows in Python, not just deep learning. Using the NYC Yellow Taxi dataset (~9-10M rows), this post walks through three approaches: the native cuDF API (pandas-like GPU DataFrames), cudf.pandas (zero-code-change accelerator for existing pandas code), and the Polars GPU engine (pass engine='gpu' to collect()). All three support automatic CPU fallback for unsupported operations. Benchmarks show significant speedups for groupby aggregations, joins, and sorting on large datasets, while CPUs remain competitive for smaller data due to GPU transfer overhead. The Polars GPU engine also supports multi-GPU scaling via RayEngine.

Python Is Only Slow If You are Still Using It The Way You Learned In 2018

Python chỉ chậm nếu bạn vẫn giữ cách lập trình từ năm 2018. Vấn đề không phải do ngôn ngữ mà do những thói quen cũ.

Lập trình viên nên đọc bài này để khám phá cách tối ưu hóa hiệu suất Python bằng cách bật tắt các tính năng cũ kỹ như for vòng lặp, list.append() hoặc dict thủ công, thay vào đó sử dụng các công cụ hiện đại như list comprehensions, collections.defaultdict hoặc numpy để giải quyết vấn đề hiệu suất không phải là lỗi của ngôn ngữ mà là của cách sử dụng cũ.

scikit-survival 0.28.0 released

scikit-survival 0.28.0 has been released with two major additions: support for Polars DataFrames alongside pandas via the Narwhals abstraction layer, and compatibility with scikit-learn 1.9. Users can now load datasets as Polars DataFrames using the output_type argument, and transformers like ClinicalKernelTransform and OneHotEncoder accept Polars input. Survival models can be fit and used for prediction with Polars eager DataFrames (lazy frames are not supported). The release also updates minimum dependency versions for narwhals (2.0.1) and scikit-learn (1.9.0).

What Can We Do When Memory Becomes the New Bottleneck in Data Engineering?

When a 6.2 million-row social media dataset with mixed-type columns exceeds available RAM, three approaches can keep an ETL pipeline running without a hardware upgrade. Pandas chunking processes data in 250k-row slices to reduce peak memory at the cost of speed. Dask automates partitioning and uses multiple CPU cores for parallel execution, but requires explicit schema definitions for mixed-type columns. Polars, built on a Rust engine with Apache Arrow columnar format, offers the best balance of speed and memory efficiency through lazy query planning and streaming mode, though it requires learning a new DataFrame API. The right choice depends on constraints: Pandas chunking for dynamic schemas with tight resources, Dask for multi-core workloads, and Polars for performance-critical pipelines.

Episode #300: Maintaining Your Python Developer Instincts While Using LLM Tools – The Real Python Podcast

Episode 300 of the Real Python Podcast covers how developers can maintain their Python skills and instincts while relying on LLM coding tools. The main discussion centers on Bob Belderbos's article about adding deliberate friction to your coding routine to prevent skill atrophy. The episode also covers Python 3.14.6/3.13.14 and 3.15.0b2 releases, Django security releases, PyPy v7.3.23, Polars 1.41, libraries for Polars workflows, Django-Integrity-Policy, the httpx2 next-gen HTTP client, and a tool for detecting lazy import incompatibilities.