#data-science

6 KV Cache Quantization Approaches

Bối cảnh về KV Cache Quantization trở nên quan trọng khi inference model lớn như GPT-3 cần xử lý hàng tỷ parameters. Nguyên nhân kỹ thuật là do KV Cache chiếm tới 40% bộ nhớ VRAM, tạo ra bottleneck đáng kể cho các inference server. Hệ quả rõ ràng là việc lượng hóa KV Cache giúp giảm 50-70% bộ nhớ sử dụng và tăng tốc inference đến 30%. Điều đáng học là 6 phương pháp lượng hóa KV Cache từ các nghiên cứu gần đây của NVIDIA và Google Research đều có trade-off giữa độ chính xác và hiệu suất, tùy thuộc vào hardware support cụ thể.

Cách tiếp cận KV Cache Quantization được minh họa trực quan giúp lập trình viên hiểu và tối ưu hiệu năng mô hình ngôn ngữ.

What “open weights” means for AI models

Bối cảnh là khái niệm "open weights" đang định hình tương lai của AI models, khác biệt với mô hình open source truyền thống. Nguyên nhân kỹ thuật là open weights chỉ chia sẻ weights (các tham số mô hình) chứ không phải source code, cho phép sử dụng mô hình mà không cần phân tách nó. Hệ quả là Qwen3.8 của Alibaba và Kimi K3 của 01.AI chứng minh các mô hình open weights có thể đạt hiệu năng cao tương tự các closed-source models như GPT-4. Điều đáng học là open weights tạo ra một sân chơi bình đẳng hơn, nơi các công ty có thể tinh chỉnh và triển khai AI mà không bị phụ thuộc vào một nhà cung duy nhất. Xu hướng này mở ra cơ hội mới cho ứng dụng AI trong nhiều lĩnh vực với chi phí thấp hơn.

Bài này giúp lập trình viên hiểu rõ khái niệm "open weights" trong AI và sự khác biệt giữa nó với open source, qua các ví dụ thực tế như Qwen3.8 và Kimi K3.

How Apple Fits an LLM on Your iPhone

Apple tích hợp LLM lớn trên iPhone bằng cách sử dụng Transformer architecture và kỹ thuật quantization giảm độ chính xác từ 32-bit xuống 4-bit. Công nghệ này cho phép model hoạt động hiệu quả với hạn chế bộ nhớ và điện năng của thiết bị di động. Hệ quả là người dùng có thể trải nghiệm các tính năng AI mạnh mẽ ngay trên thiết bị mà không cần kết nối internet. Bài viết đáng học hỏi ở chỗ Apple đã tối ưu hóa hiệu suất mô hình thông qua kỹ thuật distillation và các bản đặc biệt của on-device neural engine.

Bài này giải thích cách Apple tối ưu hóa mô hình LLM để chạy trơn tru trên iPhone mà không ảnh hưởng đến hiệu năng thiết bị.

Colab is now part of your Google AI plan

Google vừa tích hợp Colab vào Google AI plan, mang lại lợi ích cao cấp cho người đăng ký. Các lập trình viên giờ đây có truy cập vào faster accelerators và Premium GPUs để tăng tốc độ xử lý. Đặc biệt, tính năng uninterrupted background execution cho phép chạy training kéo dài mà không bị gián đoạn. Đây là bước đi chiến lược giúp Google củng cố vị thế trong việc cung cấp công cụ AI cho nhà phát triển.

Bài viết giúp lập trình viên biết cách tận dụng Colab trong Google AI plan với các tính năng cao cấp để tăng tốc độ và hiệu quả công việc AI.

TimescaleDB Course – PostgreSQL for Time-Series Data

Bối cảnh: Quản lý dataset lớn và phát triển nhanh chóng là kỹ năng quan trọng cho lập trình viên hiện đại, từ theo dõi log API, giám sát telemetry IoT đến xây dựng dashboard. Nguyên nhân kỹ thuật: Các giải pháp truyền thống như PostgreSQL gặp khó khăn với hiệu suất khi xử lý time-series data, dẫn đến TimescaleDB ra đời như extension PostgreSQL chuyên dụng. Hệ quả: TimescaleDB cho phép xử lý hàng tỷ điểm dữ liệu mỗi ngày với hiệu suất cao hơn 20 lần so với PostgreSQL thông thường, hỗ trợ time-range queries và continuous aggregates. Điều đáng học: Khóa học này sẽ trang bị kiến thức về hypertables, compression policies và API-specific optimizations cho use cases thực tế như IoT monitoring và analytics.

TimescaleDB cung cấp giải pháp tối ưu để xử lý hiệu quả dữ liệu chuỗi thời gian lớn với tốc độ cao.

Chip Huyen on How to Optimize LLM Inference

Chip Huyen đã chia sẻ các chiến lược tối ưu inference cho Large Language Model một năm trước, và nhiều phương pháp này vẫn còn giá trị thực tiễn. Các kỹ thuật như vLLM, PagedAttention và continuous batching giúp giảm latency từ 5-10 lần so với phương pháp tuần tự truyền thống. Tác giả nhấn mạnh việc sử dụng hardware-aware inference để tận dụng tối đa GPU với hiệu suất throughput 100-500 tokens/giây. Một bài học quan trọng là việc lựa chọn tối ưu giữa latency và throughput tùy thuộc vào use case cụ thể. Bài viết còn đề cập đến các chiến lược như speculative decoding và model parallelism để xử lý các LLM có kích thước lên đến 100B parameters.

Chip Huyen chia sẻ chiến lược tối ưu hóa suy luận LLM giúp bạn nâng cao hiệu suất và tiết kiệm chi phí khi triển khai hệ thống trí tuệ nhân tạo.

I Retested My MoE Offloading Benchmarks. Some of My Conclusions Changed.

A follow-up to my original 16GB GPU experiment, this time with consistent quantization, repeated... Tagged with ai, machinelearning, llm.

[2607.11938] Mathematics of Data Science

Bài báo arXiv 2607.11938 giới thiệu phần tóm tắt về lĩnh vực "Toán học của Khoa học Dữ liệu", đề cập đến các nền tảng toán học ứng dụng trong phân tích dữ liệu.

Những kỹ thuật toán và lý thuyết toán học trong bài viết này sẽ giúp bạn hiểu sâu hơn về cách xây dựng mô hình học máy hiệu quả hơn, từ đó tối ưu hóa thời gian và chất lượng dự án của mình.

Brown student maps the hidden global labor powering AI

Cunyan Ma đã tạo ra một công cụ interactive để vạch trần cơ cấu quyền lực khai thác lao động giá rẻ từ người làm dữ liệu ở Global South, giúp các thuật toán AI hàng ngày vận hành. Công cụ này minh họa cách các nền tảng AI như Amazon Mechanical Turk và Clickworker phụ thuộc vào sức lao động rẻ mạt từ các quốc gia đang phát triển. Hệ quả là tạo ra một hệ thống bóc lột nơi người lao động nhận mức lương dưới 2 USD/giờ để gắn nhãn dữ liệu, đào tạo các mô hình machine learning phức tạp. Điều đáng học là bài viết chỉ ra cách các công ty công nghệ phương Tây tận dụng sự bất bình đẳng kinh tế toàn cầu để phát triển sản phẩm AI với chi phí tối thiểu nhưng không đề cập giải pháp thay thế.

Cunyan Ma đã xây dựng công cụ tương tác để minh họa rõ ràng cách các thuật toán AI ngày nay dựa vào lao động thấp thu nhập từ các nước phát triển kém, làm cho công việc của lập trình viên trở nên hiệu quả hơn nhưng lại che giấu những bất công xã hội thực sự.

Google Maps Killed The Restaurant Star

Nhà nghiên cứu Lauren Leek phát hiện thuật toán xếp hạng nhà hàng của Google Maps ưu tiên chuỗi cửa hàng, địa điểm đông khách và các vị trí được trả phí, khiến những quán mới hoặc ít tên tuổi khó nổi bật. Cô xây dựng bảng điều khiển công khai sử dụng machine learning để khám phá những quán ẩn mình có chất lượng vượt trội.

Những lập trình viên muốn hiểu cách hệ thống xếp hạng tự động của Google Maps hoạt động, từ đó tìm cách cải thiện hoặc phân tích các cơ chế xếp hạng trong các ứng dụng tương tự để tạo ra giải pháp công bằng và hiệu quả hơn.

An LLM Judge Told to Ignore Answer Order Still Flipped a Third of Its Verdicts

An LLM Judge Told to Ignore Answer Order Still Flipped a Third of Its Verdicts The MT-Bench judge prompt already told GPT-4 to ignore answer order. A rubric line cannot fix position bias, so run …

Quantization-Aware Healing: a compressed, 4-bit model that outperforms its full-precision original

Bài viết giới thiệu phương pháp Quantization‑Aware Healing (QAH) được phát triển bởi Multiverse Computing để nén mô hình ngôn ngữ lớn xuống 4‑bit mà không làm giảm hiệu suất. QAH kết hợp quantization‑aware training với một bước healing sau huấn luyện, trong đó một mạng phụ nhỏ được học để bù lại sai số lượng tử hóa gây ra. Kết quả cho thấy mô hình 4‑bit sau healing đạt được mức perplexity tương đương, và trong một số trường hợp thậm chí tốt hơn so với phiên bản full‑precision (32‑bit) ban đầu. Việc này đồng thời giảm kích thước bộ nhớ cần thiết xuống khoảng 1⁄8 (≈87,5%) và tăng tốc độ suy luận trên phần cứng hỗ trợ tính toán nguyên số. Điều đáng học là việc đầu tư vào quá trình healing có thể bù lại phần lớn tổn thất từ quantization, cho phép triển khai mô hình mạnh mẽ trên môi trường tài nguyên hạn chế mà không hy sinh chất lượng.

Bài viết này giúp lập trình viên hiểu cách tạo mô hình lượng hóa 4-bit hiệu suất hơn cả mô hình full-precision gốc.

Intel LLM-Scaler-vLLM PV 1.5 Brings Big Improvements

Intel vừa cập nhật LLM-Scaler-vLLM PV phiên bản 1.5, container Docker chạy mô hình ngôn ngữ lớn trên phần cứng Intel Arc Graphics thuộc Project Battlematrix. Phiên bản mới nâng cấp từ vLLM 0.14 lên vLLM 0.26 và PyTorch từ v2.10 lên v2.12, vẫn chưa bằng với bản upstream vLLM 0.31. Cập nhật này hỗ trợ thêm mô hình Qwen và Gemma 4, cùng với FP8 và symmetric INT4 quantization online và FP8 KV cache. Hiệu suất được cải thiện với time-to-first-token nhanh hơn cho Qwen và Gemma 4, MTP decoding tốt hơn, và tăng throughput cho LoRA serving và FP8 KV cache.

Bài viết này cung cấp thông tin quan trọng về phiên bản mới nhất của Intel LLM-Scaler-vLLM PV với cải tiến hiệu năng đáng kể và hỗ trợ thêm các mô hình AI tiên tiến.

Announcing Humming: Fast, Flexible Kernels for Quantized Inference

Humming là một thư viện kernel inference được lượng hóa từ Ant Group và cộng đồng vLLM, hỗ trợ rộng rãi GPU và phương pháp quantization. Với khả năng tối ưu cho cả mô hình dense và MoE (Mixture of Experts), Humming mang lại hiệu suất vượt trội trong quá trình inference. Thư viện này giải quyết bài toán hiệu suất khi inference với mô hình lượng hóa trên nhiều loại GPU khác nhau. Nếu bạn làm việc với các mô hình lớn và cần tối ưu inference speed, Humming là một giải pháp đáng để khám phá.

Humming mang lại hiệu suất vượt trội cho việc suy luận định lượng trên nhiều loại GPU và định lượng khác nhau.

Fire and Forest Loss in Kalimantan: A Strong Signal, With an Important Caveat

Nghiên cứu vệ tinh ở Kalimantan chỉ ra mối liên hệ chặt chẽ giữa phát hiện cháy mất rừng với độ trễ thời gian trung bình 24 ngày. Nguyên nhân kỹ thuật nằm ở phương pháp Landsat và Sentinel-2 không phân biệt được nguyên nhân tự nhiên hoặc do con người gây ra. Hệ quả là việc kết luận ai đã đốt cháy dựa trên thời gian phát hiện cháy là không chính xác, gây sai lệch trong đánh giá trách nhiệm môi trường. Bài viết cung cấp dữ liệu chi tiết về tỷ lệ cháy theo vùng và mùa, điều giúp lập trình viên phát triển thuật toán phát hiện nguyên nhân cháy chính xác hơn.

Bài này giúp lập trình viên hiểu cách phân tích dữ liệu vệ tinh để phát hiện nguyên nhân mất rừng và đám cháy, quan trọng cho dự báo môi trường.

Karpathy’s Trick for Faster Local LLMs Finally Has Proper Tooling

Karpathy đã phát triển kỹ thuật tối ưu hóa Local LLMs bằng cách tận dụng CPU thay vì GPU, giúp giảm đáng kể thời gian xử lý. Phương pháp này sử dụng quantization và kỹ thuật inference optimizing để tăng tốc độ lên 3-4 lần so với cách chạy thông thường. Công cụ mới mang tên "llama.cpp" cho phép triển khai dễ dàng trên các thiết bị thông thường mà không cần GPU mạnh mẽ. Lập trình viên nên tham khảo bài viết để hiểu cách cài đặt và tối ưu hóa mô hình với quantization 4-bit và GGUF format.

Karpathy's kỹ thuật tăng tốc LLM cục bộ giờ có công cụ hoàn chỉnh để bạn triển khai hiệu quả.

The Batcomputer Copilot: How I Built a WayneTech Decision Engine for Emergency Logistics

Bối cảnh: Gotham City cần một hệ thống hỗ trợ quyết định logistics khẩn cấp cho Batman. Nguyên nhân kỹ thuật: Tác giả xây dựng Batcomputer Copilot sử dụng Llama 2, vector database và Retrieval-Augmented Generation để xử lý dữ liệu tình huống thực tế. Hệ quả: Hệ thống có thể phân tích các kịch bản khẩn cấp, đề xuất tuyến đường tối ưu và dự đoán nguồn lực cần thiết với độ chính xác cao. Điều đáng học: Giải pháp áp dụng fine-tuning Llama 2-7B bằng LoRA, kết hợp với vector database để tối ưu hóa hiệu suất xử lý dữ liệu không cấu trúc trong bối cảnh thời gian thực.

Bài viết này giúp lập trình viên hiểu cách xây dựng hệ thống AI hỗ trợ quyết định phức tạp trong tình huống khẩn cấp.

Which programming language to use for coding interviews

Considerations for deciding which programming language to use for coding interviews

Google Consent Mode v2

This article is intended to answer basic questions about Google Consent mode and give an understanding of how it works.

Speed Up Image Generation with FLUX 3 Image Klein on NVIDIA Blackwell GPUs

When deploying diffusion models in design tools, image editors, and visual production workflows, developers must account for inference latency.

Free AI and Data Courses with 365 Data Science: Unlimited Access until Nov. 20

Free AI and Data Courses with 365 Data Science: Unlimited Access until Nov. 20 365 Data Science opens its doors this November 100% for free! From November 5 to November 20, 2026, enjoy unlimited access to the entire platform, including a wide range of R programming courses and projects. This offer features expert-led courses, practical … Continue reading Free AI and Data Courses with 365 Data Science: Unlimited Access until Nov. 20Free AI and Data Courses with 365 Data Science: Unlimited Access until Nov. 20 was first posted on November 6, 2026 at 12:42 pm.

Environmental modelling in your web browser

I recall when the R shiny framework first came out. It suddenly got relatively easy for us ecological modellers and environmental statisticians to turn our R code into web apps. This improved accessibility of complex analyses to more general aud...

Weaviate 1.40 Release

Weaviate 1.40 makes dropping a named vector and 4-bit Rotational Quantization GA, adds multi-vector embeddings on HFresh and PathSeer filtering, and changes vector configuration defaults.

Advancing the Quality-Efficiency Frontier for Coding AI on Windows PCs - Microsoft Foundry on Windows Blog

Discover how low-bit quantization and speculative decoding bring coding AI on Windows to RTX Spark PCs, balancing quality, memory footprint, and speed.

Scaling Model Evaluation at Pinterest with Ray (Part 4)

Scaling Model Evaluation at Pinterest with Ray (Part 4) Vishnu Arun | Tech Lead, Feature Importance Platform; Anderson Lam | Sr Software Engineer; Andrew Qiu | Machine Learning Engineer I; Helena Xu …

What you don't see

A simulation-driven exploration of selection bias and how the information we don't see shapes what we think we know.

There’s a 60% Chance of Rain

There’s a 60% Chance of Rain I was driving my daughter to school this morning and we were talking about Halloween this weekend. She pulls out her phone, checks the weather, and says, “Aw, man …

How I Applied Analytics to Football

How I Applied Analytics to Football Early in my professional career, I was closely tied to football, learning how clubs in Europe focus on building large data departments around the game. Things are …

The year the Nile changed: change-point detection on 100 years of river flow

The year the Nile changed: change-point detection on 100 years of river flow The annual flow of the Nile at Aswan from 1871 to 1970 is one of the classic series in statistics: a hundred numbers that …

Top-cited scientists in clinical medicine by country: the Stanford–Elsevier top 2% list in R

Clinical medicine is by far the largest field in the 2026 Stanford–Elsevier top 2% list: 76,155 of the 249,310 listed authors, 31%, have it…

Agentic AI Is Just Another Abstraction Layer: What Data Scientists Should Offboard, and What They Can’t

Agentic AI Is Just Another Abstraction Layer: What Data Scientists Should Offboard, and What They Can’t The same coding agent gives a data scientist back anywhere from minus 3.5 to plus 11.5 hours …

A 1580 Map Shows Why Data Visualization Is Never Neutral

Nearly 450 years ago, an unnamed Ñudzahui painter mapped his community’s history and land claims for a Spanish king — on his own terms.

Deconstructing 70 Years of Climate Data: Time Series Decomposition and Machine Learning on Bengaluru’s Temperatures

Deconstructing 70 Years of Climate Data: Time Series Decomposition and Machine Learning on Bengaluru’s Temperatures When analyzing long-term climate records, raw temperature charts look like an …

I Was Waiting for an RTX 3090 to Run Local AI. My Old RTX 2070 Changed My Plans.

I Was Waiting for an RTX 3090 to Run Local AI. My Old RTX 2070 Changed My Plans. Four local AI models, a playable Tetris game, 128K context experiments, a surprising GPU performance hack, and a small …

The Oracle Files

A data science mystery where linear regression, OLS, residuals, and regression analysis uncover loan fraud across 14,000 records and a family tie.

My predictive maintenance model scored R² = 0.94. It was answering the wrong question.

My predictive maintenance model scored R² = 0.94. It was answering the wrong question. A few months ago, I shared a predictive maintenance model for industrial air filters with an R² of about 0.94 …

From Customer Segments to Reliable Anomalies: K-Means, PCA, Missing Data, and DBSCAN — Machine Learning in Analytical Tasks Part 2

From Customer Segments to Reliable Anomalies: K-Means, PCA, Missing Data, and DBSCAN — Machine Learning in Analytical Tasks Part 2 In the previous part, we transformed raw Online Retail order lines …

I Optimized Google Colab’s Free TPU to Train 44× Faster Than T4

I Optimized Google Colab’s Free TPU to Train 44× Faster Than T4 By: Neil Dhere Training a language model on a free Colab TPU sounds easy until you ask two questions. How long will the run really …

Which Hospital Stays Run Long? Predicting Length of Stay on 2.1 Million New York Discharges

Which Hospital Stays Run Long? Predicting Length of Stay on 2.1 Million New York Discharges An XGBoost model, a hard-to-beat baseline, and what SHAP says about who stays longer than a week. When I …

I Screened 1,000 Strategies With Zero Edge. The Best Backtest Won 66% of Its Trades.

I Screened 1,000 Strategies With Zero Edge. The Best Backtest Won 66% of Its Trades. On fresh data it fell to 50%. So how many trades do you need to trust a strategy? 1,734 to detect a 53% win rate …