#scikit

Advanced Code Extension PySpark Examples for Batch Data Transforms

Các script batch transform trong Data 360 giúp bạn thực thi logic Python tùy biến để xử lý data lake objects (DLOs) và data model objects (DMOs) trong môi trường tính toán riêng biệt. Bài viết tập trung vào các ví dụ nâng cao sử dụng PySpark cho batch data transforms, cho phép xử lý dữ liệu quy mô lớn với hiệu suất cao. Công nghệ PySpark được tối ưu hóa để chạy trên cluster Apache Spark, giúp tăng tốc độ xử lý dữ liệu lớn lên đến 10-100 lần so với xử lý tuần tự thông thường. Các kỹ sư có thể học hỏi cách kết hợp PySpark với Data 360 API để tạo pipeline xử lý dữ liệu phức tạp, đặc biệt hữu ích khi cần xử lý dữ liệu không cấu trúc hoặc thực hiện các phép toán toán học phức tạp trên dữ liệu lớn.

Các lập trình viên nên đọc bài này để học hỏi các ví dụ script nâng cao giúp tối ưu hóa việc biến đổi dữ liệu hàng loạt bằng PySpark trong Data 360.

How to Detect Hidden Target Leakage in Public Datasets with Python and a Dependency Graph

Các tập dữ liệu công cộng như CDC dataset đôi khi chứa hidden target leakage khiến mô hình học máy đạt điểm số không thực tế. Tác giả đã phát hiện vấn đề khi mô hình dự đoán cột dữ liệu thứ sáu với R² lên đến 0.998 bất thường. Python cùng dependency graph là công cụ hữu hiệu để vạch ra mối quan hệ ẩn giữa các features và target variable. Bài viết hướng dẫn cách xây dựng dependency graph để phát hiện và loại bỏ leakage, giúp tránh overfitting trong production model.

Bài viết này giúp phát hiện rò rỉ mục tiêu ẩn trong bộ dữ liệu công khai bằng Python và đồ thị phụ thuộc để tránh tạo ra các mô hình machine learning giả tạo.

Linear Regression, From the Ground Up

Linear Regression, From the Ground Up Why the Straight Line Works, When It Fails, and What the Residuals Reveal Linear regression is the oldest tool in the modern statistical toolkit and, by a wide …

Deconstructing 70 Years of Climate Data: Time Series Decomposition and Machine Learning on Bengaluru’s Temperatures

Deconstructing 70 Years of Climate Data: Time Series Decomposition and Machine Learning on Bengaluru’s Temperatures When analyzing long-term climate records, raw temperature charts look like an …

From Customer Segments to Reliable Anomalies: K-Means, PCA, Missing Data, and DBSCAN — Machine Learning in Analytical Tasks Part 2

From Customer Segments to Reliable Anomalies: K-Means, PCA, Missing Data, and DBSCAN — Machine Learning in Analytical Tasks Part 2 In the previous part, we transformed raw Online Retail order lines …

Customer Churn Prediction with Machine Learning: An End-to-End Telco Case Study

Customer Churn Prediction with Machine Learning: An End-to-End Telco Case Study From exploratory data analysis to model comparison, overfitting, and actionable retention strategies. Customer churn is …

Building a RAG Pipeline with LLM Embeddings and Scikit-learn

A step-by-step tutorial demonstrates building a lightweight retrieval-augmented generation (RAG) pipeline without paid APIs or heavy frameworks. It uses sentence-transformers' all-MiniLM-L6-v2 model for local embeddings, scikit-learn's NearestNeighbors with cosine distance as a stand-in vector database, and the small open-source Qwen2.5-0.5B-Instruct LLM for generation. The pipeline chunks documents, embeds them, retrieves relevant chunks, and generates answers, runnable on Google Colab's free T4 GPU. It's presented as a solid starting point for prototyping before scaling to production-grade vector databases.

Bag of Words (BoW) and TF-IDF

Bag of Words (BoW) và TF-IDF là hai kỹ thuật cơ bản trong xử lý ngôn ngữ tự nhiên, giúp biến văn bản thành vector số để máy hiểu được. BoW đơn giản đếm tần suất xuất hiện của từ trong mỗi tài liệu, trong khi TF-IDF kết hợp tần suất từ (TF) với nghịch tần suất tài liệu (IDF) để nhấn mạnh từ quan trọng hơn. Việc chuẩn bị dữ liệu văn bản đúng cách với BoW hay TF-IDF giúp model machine learning không bị ảnh hưởng bởi các từ phổ biến mà tập trung vào từ mang nhiều thông tin. Các lập trình viên nên lưu ý rằng BoW có thể dẫn đến vector thưa, trong khi TF-IDF giúp giảm trọng số của các từ xuất hiện nhiều trong nhiều tài liệu như "và", "là".

Bài viết này giải thích cách Bag of Words và TF-IDF giúp xử lý dữ liệu văn bản hiệu quả cho mô hình học máy.

DATA PREPROCESSING

Data preprocessing là bước bắt buộc trước khi đưa dữ liệu vào machine learning. Encoding chuyển đổi categorical data thành dạng numerical để các thuật toán như SVM hay Neural Network có thể xử lý. Feature scaling chuẩn hóa các feature khác nhau về cùng một thang đo như [0,1] hoặc Z-score, giúp tránh trường hợp một feature chi phối quá mạnh do có giá trị lớn. Việc này cải thiện đáng kể hiệu suất của các thuật toán nhạy cảm với thang đo như KNN hay PCA. Nhiều framework như Scikit-learn cung sẵn công cụ LabelEncoder, OneHotEncoder và StandardScaler để thực hiện các bước này một cách tối ưu.

Data preprocessing giúp nâng cao hiệu suất của mô hình machine learning bằng cách chuyển đổi dữ liệu dạng phân loại thành dạng số và chuẩn hóa đặc trưng.

Machine Learning Model Evaluation: How Do We Know Our Model Is Good?

Bối cảnh của bài viết là đánh giá mô hình Machine Learning - một thách thức quan trọng trong thực tế. Nguyên nhân kỹ thuật là nhiều kỹ sư áp dụng sai metrics như accuracy thay vì F1-score hay AUC-ROC cho bài toán mất cân bằng. Hệ quả là mô hình tuy có accuracy cao nhưng thực tế hoạt động kém trên các lớp thiểu số. Điều đáng học là cần hiểu rõ bản chất bài toán và chọn metrics phù hợp, ví dụ như sử dụng precision-recall curve cho các vấn đề detection trong computer vision.

Bài viết này giúp lập trình viên hiểu rõ các phương pháp đánh giá mô hình Machine Learning một cách khoa học và hiệu quả.

Monitoring Embedding Drift in Production Scikit-LLM Pipelines

This tutorial explains embedding drift in production LLM systems and demonstrates two detection techniques using scikit-learn: a random-forest domain classifier and a centroid (center of mass) distance method. It walks through code examples on simulated 384-dimensional embeddings, then repeats the process on real text embeddings generated via Scikit-LLM using a Groq-hosted model and the all-MiniLM-L6-v2 sentence transformer. The piece also briefly mentions a third approach combining dimensionality reduction (UMAP/PCA) with statistical tests like Kolmogorov-Smirnov, and discusses trade-offs such as the centroid method's computational cheapness versus its loss of distributional nuance.