#pytorch

Build Your Own Reasoning Model: A Full Video Course

Khóa học video kéo dài 11 giờ tập trung vào việc xây dựng model reasoning với Python và PyTorch. Nội dung bao gồm các kỹ thuật advanced như evaluation, inference-time scaling, reinforcement learning và distillation. Qua khóa học, bạn sẽ học cách tối ưu hiệu suất của các reasoning model hiện đại. Các bài thực hành code chi tiết giúp hiểu sâu về quy trình training và fine-tuning. Giá trị lớn nhất nằm ở việc kết hợp lý thuyết với thực hành để xây dựng được hệ thống AI có khả năng reasoning mạnh mẽ.

Lập trình viên muốn nâng cấp kiến thức về mô hình học máy từ cơ bản đến ứng dụng thực tế—đặc biệt là trong scaling mô hình, reinforcement learning, và distillation—để áp dụng ngay trong dự án AI của mình với Python và PyTorch.

What Is Model Distillation? A Guide for Developers

Model distillation là quy trình chuyển giao kiến thức từ model lớn (teacher) sang model nhỏ hơn (student) để giữ hiệu suất nhưng giảm tài nguyên. Quá trình này sử dụng hàm loss function như knowledge distillation loss để điều chỉnh student model học từ teacher model. Ví dụ, model distillation có thể giảm kích thước model từ 1.2 tỷ parameter xuống chỉ 120 triệu parameter nhưng vẫn giữ 95% accuracy. Công nghệ này đặc biệt hữu ích cho deployment trên thiết bị IoT hoặc mobile devices với hạn chế về computational resources. Điều đáng học là cách kiến thức có thể được "nén" mà không làm mất nhiều thông tin, giúp tối ưu hóa inference time và energy consumption.

Tìm hiểu về Model Distillation giúp các lập trình viên tối ưu hóa hiệu năng mô hình học máy một cách hiệu quả.

PyTorch 2.15 tackles the 'one bad GPU' problem

PyTorch 2.15 ships a rewritten NCCL backend that stops a single failing GPU from forcing a full training restart. The new ProcessGroupNCCL allows only one communicator per process group during initialization, which by default eliminates the crosstalk that the old version's many communicators caused. A third-party orchestrator can now exclude a crashed or slow GPU and assign a replacement worker. A new 'flight recorder' captures operation snapshots for debugging stalls. The legacy backend remains as a rollback option but will be removed in 2.16, planned for early next year. The release also totals 3,117 commits from 583 contributors and includes parallel processing improvements for Apple gear and support for Nvidia's next-generation Blackwell GPUs.

Hands-On Evolution of Deep Learning – Geoffrey Hinton’s AI Legacy

Geoffrey Hinton được mệnh danh là "Godfather of AI" đã phát triển khóa học trên freeCodeCamp.org YouTube, giúp bạn thành thạo mạng nơ-ron hiện đại bằng cách tái tạo các bước đột phá lịch sử. Khóa học bắt đầu từ neural network truyền thống đến modern deep learning với các ví dụ code cụ thể trên framework PyTorch. Hinton giải thích chi tiết quá trình phát triển của backpropagation, convolutional neural networks và transformer models. Bạn sẽ hiểu tại sao dropout giảm overfitting từ 27% xuống 2.5% và cách attention mechanism thay đổi hoàn toàn NLP. Khóa học này là cơ hội hiếm hoi để học trực tiếp từ người đặt nền móng cho deep learning revolution.

Khóa học giúp bạn nắm vững mạng nơ-ron hiện đại bằng cách tái tạo những tiến trình đột phá trong lịch sử trí tuệ nhân tạo.

Unlocking the Power of the TPU Stack: Introducing our new Developer Hub

Google Cloud vừa giới thiệu TPU Developer Hub, một nền tảng giáo dục tập trung dành cho nhà phát triển ML sử dụng TPU, bao gồm kiến trúc phần cứng, stack phần mềm (XLA, Pallas kernels), công cụ gỡ lỗi XProf, chiến lược tối ưu hóa (như offloading KV cache) cùng networking và bảo mật. Nội dung đa dạng từ Colabs tương tác, mã nguồn mở đến tài liệu chuyên sâu, hỗ trợ tích hợp AI-assisted development.

Lập trình viên ML nên đọc để hiểu cách tối ưu hóa hiệu suất và chi phí của mô hình trên TPU với các công cụ mới như XLA, Pallas và các chiến lược parallelism, từ đó tiết kiệm thời gian và nguồn lực trong triển khai sản phẩm AI.

Intel LLM-Scaler-vLLM PV 1.5 Brings Big Improvements

Intel vừa cập nhật LLM-Scaler-vLLM PV phiên bản 1.5, container Docker chạy mô hình ngôn ngữ lớn trên phần cứng Intel Arc Graphics thuộc Project Battlematrix. Phiên bản mới nâng cấp từ vLLM 0.14 lên vLLM 0.26 và PyTorch từ v2.10 lên v2.12, vẫn chưa bằng với bản upstream vLLM 0.31. Cập nhật này hỗ trợ thêm mô hình Qwen và Gemma 4, cùng với FP8 và symmetric INT4 quantization online và FP8 KV cache. Hiệu suất được cải thiện với time-to-first-token nhanh hơn cho Qwen và Gemma 4, MTP decoding tốt hơn, và tăng throughput cho LoRA serving và FP8 KV cache.

Bài viết này cung cấp thông tin quan trọng về phiên bản mới nhất của Intel LLM-Scaler-vLLM PV với cải tiến hiệu năng đáng kể và hỗ trợ thêm các mô hình AI tiên tiến.

TinyTorch: Don’t Just Import PyTorch. Build It. – PyTorch

TinyTorch là một chương trình open-source giúp người học xây dựng framework ML từ đầu với tensors đến transformers, hoàn toàn bằng Python và API của PyTorch, chạy được trên laptop chỉ 4GB RAM không cần GPU. Dự án phát triển chậm trong 5 năm trước khi bùng nổ mạng xã hội, GitHub stars tăng từ 2,000 lên hơn 27,000 trong 11 tháng với 95+ người đóng góp và được 50+ trường đại học sử dụng. Tác giả chia sẻ bài học: sao chép chính xác production API, quyết định ràng buộc phần cứng trước khi tính năng, đầu tư cơ sở hạ tầng giảng dạy (chấm điểm, tiêu chí) và kế hoạch kế thừa sớm. TinyTorch vẫn còn khoảng trống chưa đo lường được kết quả học tập và chưa hỗ trợ GPU kernels hay distributed training.

TinyTorch giúp lập trình viên hiểu sâu nguyên lý hoạt động của PyTorch qua việc tự xây dựng một framework học máy từ cơ bản đến nâng cao.

Accelerate GPU training on Unity Catalog tables with UCDataset

Accelerate training times *by 10x

AWS Launches TorchNeuron to Run PyTorch Models on AWS Trainium Without Modifications

At the recent PyTorch Conference North America 2026, Amazon introduced TorchNeuron, a native PyTorch backend that enables developers to run existing PyTorch code on AWS Trainium AI chips with virtuall

Accelerating Reinforcement Learning Weight Refit with the Reshard Collective

During reinforcement learning (RL) post-training, training trajectories are generated on the fly by running inference with the current policy model.

Final Call for Proposals: PyTorch Day China 2026

Submit a session presentation or lightning talk for PyTorch Day China 2026 in Beijing on December 12. CFP closes November 10 at 23:59 China Standard Time.

PyTorch to AVX2: MLIR Compiler Pt. 3 | Memory Bufferization

PyTorch to AVX2: MLIR Compiler Pt. 3 | Memory Bufferization We’re now and the most optimized version of our MLIR code possible without switching from the tensor dialect to a ‘memref’ dialect of …

My Speculative Decoder Was Slower Than Not Using One

My Speculative Decoder Was Slower Than Not Using One From 0.61× to 1.67× by counting the forwards, and why my favourite idea lost to an if-statement. FlashSpec is my open-source library for …

Batching: Making You Wait More Efficiently

Batching: Making You Wait More Efficiently Why better AI throughput doesn’t always mean a quicker answer. You’ve found a seat. Your bag is on your lap. The engine is running. The bus hasn’t …

GPU Optimization: Investment or Expensive Experiment?

GPU Optimization: Investment or Expensive Experiment? Your GPU cluster costs the same whether it runs at 60% efficiency or 95% The gap between those two numbers is your margin That’s why engineers …

This Week in Open Source for October 30, 2026

Explore supply-chain security, 200+ OSS AI policies, human-in-the-loop agents, TorchTPU, CNCF llm-d 1.0, FOSDEM 2027 devrooms, and upcoming events.

Using Local AI to build a Visual Inspection Assistant POC

Using Local AI to build a Visual Inspection Assistant POC TL;DR A client recently approached me with an interesting challenge. They wanted another layer of verification in their manufacturing quality …

PyTorch 2.15 Release Blog

Explore PyTorch 2.15, featuring a rewritten NCCL backend by default, NVGEMM decode improvements, FP8 on Apple Silicon, and expanded platform support.

Google and Oracle are partnering to bring Google TPUs to Oracle Cloud Infrastructure

Google and Oracle are partnering to bring Google TPUs to Oracle Cloud Infrastructure, making OCI the first hyperscaler outside Google to offer TPUs.

In a pickle: Why every pickle defense in machine learning is bypassed the same way

Six documented bypasses beat PyTorch weights_only, Keras safe_mode, and picklescan. See which ML formats are safe and what runtime detection catches.

oneDNN 3.14 Released With ACE Support, Initial AMD Zen Optimizations

oneDNN 3.14 ships with better MATMUL and inner-product performance on AMD Zen processors. The Zen optimizations are opt-in, requiring the ONEDNN_X64_USE_ZEN=ON CMake option, and need ZenDNN code present in the oneDNN tree, either added manually or fetched automatically with ONEDNN_ZENDNN_FETCH=ON. The release adds initial support for AI Compute Extensions (ACE) instructions planned for future AMD and Intel processors. It also improves performance for upcoming Xeon Diamond Rapids chips with AVX10.2 and AMX, and for Intel's upcoming GPU D-Series (Crescent Island) and Xe3P-LPG with Nova Lake P.

Meet the 2026 PyTorch Foundation Ambassadors

The PyTorch Foundation named 24 ambassadors for its 2026 cohort, spanning five regions including Africa, Asia, Europe, the Middle East, and North America. Ambassadors come from countries like Nigeria, Singapore, India, Romania, Spain, the UK, and the US. They support the Foundation's open source ecosystem, which includes PyTorch, vLLM, DeepSpeed, Ray, Helion, and Safetensors. Their work includes workshops, mentorship, documentation, and community events to help developers adopt and contribute to these projects.

TorchTitan Update: New SOTA Models, Performance at Scale, TitanRL

TorchTitan, nền tảng training gốc PyTorch, đã cập nhật hỗ trợ các SOTA model như Muse Spark Open, Qwen3.5, Kimi K3 và DeepSeek-V4 với tích hợp song song 5D đầy đủ. TitanRL mới thống nhất pretraining, post-training và inference trong vLLM bằng một codebase duy nhất, với batch-invariant mode cho log probabilities giống bit. FlexShard library giảm thời gian optimizer tới 79% trên DeepSeekV3 với 256 H100 so với FSDP-only. torch_checkpointing library giảm thời gian viết checkpoint trung bình từ 384.4s xuống còn 13.1s tại 512 H100 GPUs.

TorchTitan cập nhật hỗ trợ các mô hình SOTA mới, cải thiện hiệu suất đáng kể và giới thiệu TitanRL để tối ưu hóa việc huấn luyện reinforcement learning.

Accelerating PyTorch on AMD GPUs with FlyDSL

PyTorch hiện định tuyến các thao tác GEMM, attention, RMSNorm và TopK trên GPU AMD MI-series qua FlyDSL, một backend mới không cần custom kernel. FlyDSL đạt được tốc độ 1.10x cho GEMM BF16, 1.58x/1.68x cho scaled GEMM MXFP8/MXFP4, và lên đến 4.82x cho TopK nhỏ, so với Triton. Attention được tối ưu qua AOTriton 0.14.2b, với vLLM đạt 3.01x tốc độ end-to-end cho MXFP4. Giải pháp này giữ nguyên API như torch.mm và scaled_dot_product_attention, không yêu cầu thay đổi code.

Tối ưu hóa hiệu suất PyTorch trên GPU AMD MI350-series thông qua FlyDSL mang lại tăng tốc độ đáng kể lên đến 4.82x cho các phép toán phổ biến.

PyCoder’s Weekly

Django Migrations, Functional Programming, MVC, and More

Intel & AMD Now Collaborating On Software Optimizations With PyTorch/oneDNN

AMD and Intel announced they will collaborate on oneDNN, combining their x86 CPU optimization work for PyTorch into a single library. AMD's ZenDNN optimizations for Zen processors will be merged into oneDNN, making it the default open-source library for x86 acceleration in PyTorch. AMD will also join the UXL Foundation as a steering member. The move follows the two companies' prior joint work on ISA matters through the x86 Ecosystem Advisory Group. The UXL Foundation was formed in 2023 and is backed by Intel, Samsung, Qualcomm, Arm, and other vendors.

Nebius Joins the PyTorch Foundation as a Platinum Member

Nebius has joined the PyTorch Foundation as a Platinum member. The AI cloud company has long supported vLLM with compute for development, testing and benchmarking, including multi-node work on models like DeepSeek R1. As a Platinum member, Nebius plans to contribute to PyTorch and vLLM performance on the latest hardware and gets one seat on the Governing Board. Ryan Hanrui Wang, Nebius's SVP of Applied AI, joins the board and will represent Nebius on the Technical Advisory Council.

Nscale Joins the PyTorch Foundation as a Platinum Member

Nscale has joined the PyTorch Foundation as a Platinum member. Nscale is a full-stack AI cloud platform that first connected to the Foundation through Ray, the distributed computing framework, which joined the Foundation in October 2025. Nscale has a planned acquisition of Anyscale, the company behind Ray, and commits to continued investment in Ray's development. As a Platinum member, Nscale gets one seat on the Governing Board, filled by Nick Jones, VP of Cloud Native Platform Engineering. Eyal Lantzman, VP of AI Services, joins the Foundation's Technical Advisory Council.

From KTIR to SpyreCode: An MLIR Dataflow Backend for IBM Spyre

PyTorch describes the backend compiler that turns Inductor's scheduling decisions into code for the Spyre accelerator. KTIR, an MLIR dialect, records Inductor's work division and scratchpad placement across Spyre's 32 cores, each with 2 MB of scratchpad. The open-source Dataflow Scheduler lowers KTIR through ScheduleIR into DataflowIR, building a dataflow pipeline guided by an architecture description rather than hard-coded chip logic. Device-specific stages then turn DataflowIR into SpyreCode, a symbolic binary plus a job plan the runtime prepares once and launches repeatedly. Version 1 handles elementwise ops with broadcast and reduction dimensions, with the first op coming up about 4x faster and later ops about 8x faster than the previous stack, with matrix multiplication support coming next.

PyTorch Foundation Welcomes Nine New Members As Momentum Builds Around Open Source AI Center of Gravity

The PyTorch Foundation added nine new members at PyTorch Conference North America 2026. Platinum members are Nebius, Nscale, and Shopify; Silver members are LightSeek Foundation and Lablup Inc.; Associate members include SKOPOS INDIA FOUNDATION, Siksha 'O' Anusandhan, Messiah University, and Valencia College. A related case study says Shopify built a continual learning loop with PyTorch and vLLM that cuts serving costs by 96% while beating frontier-model quality. IBM's Spyre accelerator work reduced Spyre-specific compiler code by 7x while keeping performance parity on tested workloads, using about 10,000 lines of code and 44 adapters.

Announcing New vLLM and SGLang Inference Engines on TPU

Announcing native PyTorch backends for vLLM and SGLang on Google Cloud TPUs, powered by TorchTPU and TPU Sync for high-performance inference.

TorchTPU is now open source: Run native PyTorch on TPUs

Bối cảnh: TorchTPU vừa được mã nguồn mở trên GitHub, cho phép lập trình viên train, serve và deploy models trên TPUs. Nguyên nhân kỹ thuật: TorchTPU là giải pháp kết hợp PyTorch với TPU của Google, giúp tận dụng sức mạnh xử lý của Tensor Processing Units cho deep learning. Hệ quả: Người dùng có thể tận dụng hạ tầng TPU của Google với công cụ họ đã quen thuộc, giảm thời gian training lên đến 3x so với GPU. Điều đáng học: Đây là bước tiến quan trọng giúp PyTorch tiếp cận được thế phần cứng chuyên biệt, cạnh tranh với TensorFlow trong việc tối ưu hóa trên TPU.

TorchTPU là giải pháp giúp lập trình viên tận dụng TPUs với công cụ PyTorch đã quen thuộc.

MPS in PyTorch 2.15

PyTorch 2.15 giới thiệu Multi-Process Service (MPS) support để tăng hiệu suất trên Apple Silicon GPU. Hạ tầng MPS cho phép nhiều process chia sẻ cùng một GPU qua backend MPS, giảm overhead khi khởi tạo. Benchmark cho thấy tốc độ training tăng lên 2-3x so với cách tiếp cận thông thường. Đây là cải tiến quan trọng cho các lập trình viên làm việc trên Mac M-series, giải quyết vấn đề bottleneck khi chạy nhiều mô hình cùng lúc. Bạn nên đọc bài gốc để hiểu cách cấu hình và xử lý các lỗi thường gặp khi implement MPS trong PyTorch.

Bài viết này giúp lập trình viên cập nhật tính năng MPS mới trong PyTorch 2.15 để tối ưu hóa hiệu suất AI trên Apple Silicon.

One Search, Two Layers: Compiler Controls Inside PyTorch Helion using NVIDIA CompileIQ

PyTorch Helion hiện tích hợp CompileIQ để tối ưu hóa song song cả kernel config và PTXAS compiler controls, thay vì tuần tự như trước. Trên nền tảng GB200, phương pháp mới này mang lại tốc độ tăng từ 1.75% đến 6.9% so với kernel đã được autotune. CompileIQ cung cấp Booster Pack gồm 24 ACFs cho CUDA 13.4/B200, giúp người dùng không cần tự chạy tìm kiếm. Người dùng nên lưu ý ACFs phụ thuộc vào hardware và workload, với hiệu suất tăng thường 2-7% trên các kernel đã được tối ưu.

NVIDIA CompileIQ giúp tăng hiệu suất tối đa tới 6.9% bằng cách tối ưu hóa cả cấu hình kernel và điều khiển biên dịch cùng lúc trong PyTorch Helion.

Introducing TorchNeuron: Native PyTorch backend for AWS Trainium

AWS and the PyTorch team announced TorchNeuron, an open source native PyTorch backend for AWS Trainium chips, launching as a public beta on Oct. 20 under Apache 2.0. It registers Trainium through PyTorch's PrivateUse1 extension point so existing PyTorch code, libraries (Hugging Face Transformers v5, TorchTitan, vLLM), and distributed APIs (DDP, FSDP2, tensor/pipeline parallelism) run on Trainium with minimal changes. It supports eager execution (including a new adaptive eager mode), torch.compile for production, and the Neuron Kernel Interface (NKI) for custom kernels, plus Neuron Explorer for profiling. Customers including Cartesia, Deepgram, and Hugging Face shared early results, such as Deepgram reporting about 60% more audio seconds processed per dollar versus their GPU baseline. Testing covered 100k Hugging Face models and PyTorch's upstream test suites, with remaining gaps in operator coverage and some explicitly unsupported features (sparse tensors, dynamic shapes, etc.) to close in future releases.

0/1 Knapsack Problem in PyTorch

PyTorch's default activation memory budget solver (dp_knapsack) builds a full 2D dynamic programming table to decide which operations to save versus recompute during memory planning, which becomes a RAM bottleneck for large graphs. A new solver, dp_knapsack_sliding_hirschberg, combines a sliding window trick with the Hirschberg divide-and-conquer technique to shrink the table to just two rows, cutting peak memory usage by roughly 20x (handling 2000 items versus 100 on a 64GB machine) and yielding about a 37% runtime speedup. The post explains how the original DP knapsack algorithm and backtracking work, then walks through how the new approach eliminates backtracking by building saved/recomputable item lists during recursion. It also notes that ilp_knapsack (via SciPy) is much faster if dependency on SciPy is acceptable, and greedy_knapsack is fastest but inexact. Usage requires explicitly setting torch._functorch.config.activation_memory_budget_solver.

Bringing Elastically Deterministic Data Loading to TorchTitan with Zephon

Zephon integrates with TorchTitan to preprocess training data on the fly and preserve identical global batches across GPU counts when the data recipe stays fixed.

How Visko streams real-time world models on Google Cloud TPUs

AI startup Visko brought Orbis, its interactive, continuously streaming video world model, to production with TPUs in just 30 days.

Can a Neural Network Learn to Merge Other Neural Networks?

Bối cảnh của nghiên cứu là khả năng kết hợp kiến thức từ các mạng neural đã được đào tạo độc lập. Nguyên nhân kỹ thuật được khám phá là một merger network chỉ cần 73 parameters có thể học cách kết hợp hiệu quả nhiều mạng neural khác nhau. Hệ quả là phương pháp này tiết kiệm đáng kể tài nguyên so với việc huấn luyện lại toàn bộ mạng. Điều đáng học là kỹ thuật Neural Network Merge (Neural Merge) cho phép tái sử dụng kiến thức hiện có một cách linh hoạt và hiệu quả trong deep learning.

Bài này chứng minh rằng mạng thần kinh có thể học cách hợp nhất các mạng thần kinh khác với hiệu quả bất ngờ.

Mesa Expands NPU Capabilities With Support For YOLOX With PyTorch

Mesa đã tích hợp thành công hỗ trợ cho mô hình nhận diện đối tượng YOLOX trong hệ thống Torx, cho phép các mô hình PyTorch ExecuTorch chạy trên driver NPU. Tính năng này đã được xác thực trên Arm EthosU NPU sử dụng NXP i.MX93 SoC, trong khi driver Etnaviv cho Vivante NPUs có hỗ trợ hoạt động nhưng vẫn cần hoàn thiện cơ sở hạ tầng để tích hợp với Torx. Việc này là một phần của bản Mesa 26.3 sắp tới. Lập trình viên làm việc với embedded AI và NPU sẽ thấy đây là một bước tiến quan trọng trong việc triển khai các mô hình thị giác máy tính lightweight.

Bài này quan trọng vì cập nhật khả năng hỗ trợ YOLOX trên NPU trong Mesa Torx, mở rộng hiệu năng AI cho các thiết bị nhúng.