#pytorch

Hands-On Evolution of Deep Learning – Geoffrey Hinton’s AI Legacy

Geoffrey Hinton được mệnh danh là "Godfather of AI" đã phát triển khóa học trên …

TinyTorch: Don’t Just Import PyTorch. Build It. – PyTorch

TinyTorch là một chương trình open-source giúp người học xây dựng framework ML từ đầu với tensors đến transformers, hoàn toàn bằng Python và API của PyTorch, chạy được trên laptop chỉ 4GB RAM không cần GPU. Dự án phát triển chậm trong 5 năm trước khi bùng nổ mạng xã hội, GitHub stars tăng từ 2,000 lên hơn 27,000 trong 11 tháng với 95+ người đóng góp và được 50+ trường đại học sử dụng. Tác giả chia sẻ bài học: sao chép chính xác production API, quyết định ràng buộc phần cứng trước khi tính năng, đầu tư cơ sở hạ tầng giảng dạy (chấm điểm, tiêu chí) và kế hoạch kế thừa sớm. TinyTorch vẫn còn khoảng trống chưa đo lường được kết quả học tập và chưa hỗ trợ GPU kernels hay distributed training.

TinyTorch giúp lập trình viên hiểu sâu nguyên lý hoạt động của PyTorch qua việc tự xây dựng một framework học máy từ cơ bản đến nâng cao.

How to Turn a RECIST Line into a 3D Tumor Segmentation Mask

Bài viết giải quyết vấn đề chuyển đổi RECIST line (đo thẳng) thành 3D tumor segmentation mask (khối u 3D) trong y học hình ảnh. Phương pháp sử dụng deep learning model như UNet để dự đoán hình dạng 3D từ các đo thẳng trên CT scan. Kết quả cho độ chính xác lên đến 89% khi so sánh với manual segmentation. Điều đáng học là kỹ thuật này giảm 70% thời gian làm việc so với phương pháp thủ công truyền thống.

Bài này giúp lập trình viên chuyển đổi RECIST line thành 3D tumor segmentation mask một cách hiệu quả.

Unlocking the Power of the TPU Stack: Introducing our new Developer Hub

Google Cloud vừa giới thiệu TPU Developer Hub, một nền tảng giáo dục tập trung dành cho nhà phát triển ML sử dụng TPU, bao gồm kiến trúc phần cứng, stack phần mềm (XLA, Pallas kernels), công cụ gỡ lỗi XProf, chiến lược tối ưu hóa (như offloading KV cache) cùng networking và bảo mật. Nội dung đa dạng từ Colabs tương tác, mã nguồn mở đến tài liệu chuyên sâu, hỗ trợ tích hợp AI-assisted development.

Lập trình viên ML nên đọc để hiểu cách tối ưu hóa hiệu suất và chi phí của mô hình trên TPU với các công cụ mới như XLA, Pallas và các chiến lược parallelism, từ đó tiết kiệm thời gian và nguồn lực trong triển khai sản phẩm AI.

Alibaba Cloud, Ant Group, Cambricon and Huawei Come Together in Shanghai to Advance the Open Source AI Stack at PyTorch Conference China – PyTorch

Alibaba Cloud và Cambricon đã trở thành thành viên Platinum, Ant Group thành viên Gold tại PyTorch Conference China 2026 ở Shanghai, cùng với Huawei là thành viên hiện có. Trong các bài phát biểu chính, Alibaba Cloud trình bày cách mở rộng việc phục vụ mô hình Qwen qua Karmada, Huawei đề cập đến NPU Ascend và thiết kế cứng‑mềm kết hợp, Cambricon giới thiệu PyTorch không phụ thuộc thiết bị để hỗ trợ nhiều nền tảng chip, Ant Group chia sẻ về việc xây dựng môi trường chạy AI agent an toàn bằng Kubernetes Agent Sandbox và Kata Containers. Sự hợp tác này cho thấy hơn 250 tổ chức ở Trung Quốc đang đóng góp vào các dự án của Quỹ PyTorch như DeepSpeed, Ray, Safetensors và vLLM, làm giàu hệ sinh thái nguồn mở. Đối với lập trình viên đang cân nhắc đọc bài gốc, bài học là việc kết hợp tối ưu hóa phần cứng riêng của các nhà cung cấp với các công cụ cộng đồng giúp đạt được triển khai AI có thể mở rộng, bảo mật và di động.

Reasoning Models From Scratch: Code Setup

Bài video giải thích mối quan hệ giữa các LLM truyền thống và các mô hình reasoning cùng với các agent trong hệ thống AI. Nó demonstratem cách cài đặt môi trường Python và PyTorch bằng công cụ quản lý gói uv. Quá trình này bao gồm tạo virtual environment, cài đặt torch và các thư viện phụ trợ trong ít phút. Nhờ uv, việc quản lý phụ thuộc trở nên nhanh chóng và nhất quán giữa các máy phát triển. Điều này cho thấy việc chọn trình quản lý gói hiện đại giúp giảm thời gian setup và tập trung vào nghiên cứu reasoning model.

Bài này giúp lập trình viên hiểu mối quan hệ giữa mô hình ngôn ngữ lớn và mô hình suy luận đồng thời thiết lập lập trình Python hiệu quả với uv.

Neural Networks Explained: What They Are and How to Build One in Python

Bài viết giới thiệu về mạng neural là mô hình cơ bản đứng sau nhiều ứng dụng AI hiện đại như nhận dạng chữ viết tay, lọc spam, đề xuất video và xử lý ngôn ngữ tự nhiên. Nó giải thích cấu trúc của mạng bao gồm các lớp nerve cell (neuron), hàm kích hoạt và quá trình lan truyền thuận cùng lan truyền ngược để cập nhật trọng số. Tác giả hướng dẫn cách xây dựng một mạng neural đơn giản từ đầu bằng Python, minh họa với quá trình huấn luyện và đánh giá trên một bộ dữ liệu mẫu. Qua đó, readers thấy được mối quan hệ trực tiếp giữa việc chọn hàm kích hoạt, learning rate và số lớp ẩn với hiệu suất cuối cùng của mô hình. Bài học chính là nắm vững nguyên lý toán học và triển khai cơ bản sẽ giúp lập trình viên dễ dàng chọn framework phù hợp, tinh chỉnh siêu tham số và gỡ lỗi khi làm việc với các mô hình deep learning thực tế.

Bài viết giải thích rõ ràng về mạng thần kinh kinh điển và cách triển khai trong Python, giúp lập trình viên nắm vững nền tảng AI hiện đại.

Training a Model on Google Colab, A Survival Guide

Vào epoch thứ 47/60, loss function cuối cùng đã giảm, nhưng trình duyệt đột ngột đóng băng, gián đoạn quá trình training.

Một lập trình viên nên đọc bài này để tránh thất bại khi chạy mô hình AI trên Colab vì không biết cách xử lý các tình huống bất ngờ như thời gian chạy dài, tài nguyên hạn chế hoặc lỗi không mong đợi trong quá trình huấn luyện.

GEM Training: How Meta Doubled the Efficiency of Its LLM-Scale Ads Foundation Model

Meta đã tăng gấp đôi hiệu quả đào tạo end-to-end (đạt 20–25% MFU) cho mô hình quảng cáo GEM (LLM-scale) nhờ hai trụ cột: tối ưu hóa tính toán (thư viện kernel tùy chỉnh như Jagged Flash Attention, MXFP8) và hiệu quả mở rộng (5D parallelism, NCCLX, Base Batch Shuffling). Thách thức chính bao gồm đầu vào biến độ dài, mẫu attention bất đối xứng, độ nhạy số học của mục tiêu CTR/CVR, và bảng embedding siêu lớn gây tắc nghẽn bộ nhớ.

Lập trình viên chuyên về mô hình AI/ML nên đọc bài này để tìm hiểu cách tối ưu hóa hiệu suất huấn luyện mô hình lớn bằng kiến thức về parallelism, quantization, và kỹ thuật đặc biệt như Flash Attention và FSDP, giúp giảm chi phí tính toán và tăng tốc triển khai trong ứng dụng thực tế.

From Research Project to Open Source Ecosystem: Bring Your Academic PyTorch Project to PyTorchCon NA – PyTorch

The PyTorch Foundation's OSPO & Academic Outreach Working Group is hosting a Day 0 Academic Workshop at PyTorch Conference North America 2026, calling for submissions of academic open source projects built with PyTorch, DeepSpeed, Helion, Ray, Safetensors, or vLLM. Eight selected projects will give five-minute lightning talks followed by hands-on mentor office hours covering open source readiness, governance, reproducibility, community building, security, and ecosystem positioning. Submissions are open to students, researchers, faculty, and research labs worldwide, with a deadline of September 30, 2026.

Hardware-Agnostic Models in vLLM – PyTorch

vLLM is introducing hardware-agnostic layers to reconcile two competing pressures: frontier models increasingly need bespoke, hardware-specific 'flat' model definitions that break compatibility with torch.compile, while out-of-tree accelerator plugins (like IBM Spyre), older GPUs, and the transformers backend still depend on compilable, extensible shared layers. The new HW-agnostic layers, built with native PyTorch or portable DSLs like Triton and Helion, aim to be compilable, extensible via CustomOp/PluggableLayer, isolated from hardware-specific paths, and portable across accelerators. Initial support has landed for the transformers backend (enabled via USE_HW_AGNOSTIC=1) and was validated on Spyre with models like Gemma 4, Qwen3, and Granite 4.2. On NVIDIA H100 GPUs, these portable layers achieve throughput within 3.4% of native CUDA-optimized implementations (geometric mean across three recent models), with a full flat-model implementation (e.g., DeepSeek V4) still under review.

How Shopify built a continual learning loop with PyTorch and vLLM – PyTorch

Shopify describes a continual learning loop built with PyTorch and vLLM that compresses production failures into model weights daily. The pipeline defines a quality rubric, calibrates an LLM judge with DSPy optimizers (GEPA, ACE), improves a frontier-model baseline through an autoresearch harness-optimization loop, then mines hard negatives from production traffic, heals them with a panel of reasoning models plus human annotation from Toloka, and trains a smaller model via supervised fine-tuning and GRPO. Prompt gist compression shrinks the GraphQL agent's system prompt from ~6,000 to ~1,500 tokens. The result: the fine-tuned model beats frontier-model quality, cuts serving costs by 96% (from an estimated $27M to $1M/year), reduces end-to-end latency by ~38%, and uses ~14% fewer GPUs at 350 requests/minute.

CBAM Paper Walkthrough: The Double-Attention Mechanism

Understanding and implementing CBAM (Convolutional Block Attention Module) from scratch with PyTorch

PyTorch Day Japan 2026 Comes to Tokyo on December 10 – PyTorch

PyTorch Day Japan 2026 sẽ diễn ra tại Tokyo vào ngày 10 tháng 12, do PyTorch Foundation, Hugging Face, IBM và Mitsubishi Electric cùng tổ chức. Sự kiện sẽ tập trung vào các dự án trong hệ sinh thái PyTorch như vLLM, DeepSpeed, Ray, Helion và Safetensors, cùng các chủ đề về AI chủ quyền, AI vật lý và edge AI. Thời gian nộp hồ sơ tham gia diễn ra hết ngày 27 tháng 9 với mức giá vé giảm còn 5,000 Yên nếu đăng ký trước ngày 11 tháng 11. Đây là cơ hội tốt để các nhà phát triển cập nhật các công nghệ Deep Learning hàng đầu và tìm hiểu về xu hướng AI mới nhất.

Sự kiện PyTorch Day Japan 2026 mang đến cơ hội cập nhật kiến thức về các dự án hệ sinh thái PyTorch như vLLM, DeepSpeed và các chủ đề AI tiên tiến.

Open Research, Tooling & Optimization at PyTorch Conference North America 2026 – PyTorch

PyTorch Conference North America 2026, taking place October 20-21 in San Jose, California, features dozens of sessions spanning compiler internals (torch.compile, Dynamo), cross-hardware kernel DSLs (Helion, CuteDSL, FlyDSL, Triton), distributed training systems (Monarch, TorchTitan, DeepSpeed), collective communication libraries (NCCL extensions, rocSHMEM, MCCL), low-precision quantization (NVFP4, HiFloat), new optimizers (Muon, TorchJD), reinforcement learning infrastructure (OpenEnv, TorchTitan RL), hardware portability efforts (Spyre, Trainium, TPU), profiling tools, data loading pipelines, and how AI agents are being integrated into PyTorch's own development and CI processes. Open-source projects highlighted include Helion, TinyTorch, Pyrefly, LMCache, and OpenEnv.

Low Precision Flash Attention 4: End-to-End Block-Scaled Attention for Blackwell – PyTorch

Meta engineers extend FlashAttention-4 with end-to-end MXFP8 (microscaling FP8) support for both forward and backward passes on NVIDIA Blackwell GPUs, targeting production Ads recommendation model (GEM) training. The work covers TMEM allocation strategies to fit scale factors alongside MMA accumulators, online transpose-invariant square block-scale quantization for dS using Blackwell's redux.sync.max.abs.f32 instruction, fused RMSNorm+Quantize and GEMM+Quantize kernels that eliminate separate quantization passes, and a zero-gather jagged module that keeps FP8 data compact while only scale factors get padded and permuted for TMA. Results show up to 1.6x forward and 1.52x backward speedups over BF16 on internal shapes, reaching 2.85 PF/s forward and up to 1.98 PF/s backward on LLM shapes, competitive with cuDNN 9.24. The code is open-sourced in Meta's Ads Model Kernel Library on GitHub.

Silent Broadcasting Can Ruin Your Model

PyTorch and TensorFlow tensor broadcasting: how silent shape errors cause difficult-to-debug machine learning bugs

Fault-Tolerant Training on Spot GPU Droplets: Checkpoint, Resume, and Keep Your Run Alive

DigitalOcean cung cấp Spot GPU Droplets cho phép truy cập tự động theo giờ các GPU NVIDIA HGX B300 và AMD Instinct MI350X/MI355X với giá cố định khi bạn khởi chạy. Các GPU này có thể bị thu hồi bất cứ lúc nào, gây gián đoạn quy trình training model deep learning. Bài viết đề xuất giải pháp sử dụng checkpointing và resume mechanism để xử lý việc mất GPU đột ngột, giúp duy trì tính toàn vẹn của quá trình training. Thực hiện đúng kỹ thuật này giúp tiết kiệm chi phí đáng kể so với sử dụng Dedicated GPU mà vẫn đảm bảo tính bền vững của các experimental runs.

Bài viết hướng dẫn cách huấn luyện mô hình GPU một cách tiết kiệm chi phí bằng kỹ thuật checkpoint và resume khi sử dụng Spot GPU Droplets.

I Found a Tiny Filename Bypass That Broke a “Safe” Loader — and Earned $ $$$

Một lỗi bypass cơ bản trong tên file đã được phát hiện trong một loader được cho là an toàn, giúp tác giả nhận được khoản thưởng lớn. Lỗi này xảy ra khi hệ thống xử lý các file chứa ký tự đặc biệt như dấu chấm, khoảng trắng và đường dẫn dài vượt qua 255 ký tự. Kẻ tấn công có thể lợi dụng lỗ hổng này để thực thi mã tùy ý trong khi hệ thống vẫn tin rằng đang xử lý file an toàn. Bài viết phân tích chi tiết cách kiểm chứng lỗi, từ sử dụng tool Path Traversal đến khai thác qua Unicode normalization. Đáng học hỏi là việc kiểm tra kỹ các hàm xử lý file mà nhiều developer thường coi là an toàn nhất.

Bài viết tiết lộ một lỗ bypass tệp tin tinh vi trong bộ tải "an toàn" mà lập trình viên cần biết để phòng tránh rủi ro bảo mật trong ứng dụng của mình.

High-Throughput Structure Prediction with BioNeMo Inference Runtime

Biomolecular structure prediction is now often run at proteome scale, where the goal is to move an entire worklist through the pipeline efficiently.

Papers Explained 611: Position Encodings in Transformers

Transformer xử lý tất cả token song song nên không có thông tin vị trí tự nhiên. Để giải quyết vấn đề này, bài nghiên cứu sử dụng positional encoding - embedding đặc biệt chứa thông tin vị trí. Kỹ thuật này kết hợp với token embedding trước khi đưa vào layer attention, cho phép model hiểu thứ tự từ. Trong kiến trúc Transformer gốc, sinusoidal encoding được sử dụng nhưng sau này nhiều nghiên đề xuất các phương án hiệu quả hơn như Rotary Position Embedding (RoPE). Bài viết giải thích chi tiết cách các kỹ thuật positional encoding hoạt động và ưu nhược điểm của từng phương án.

Bài giải thích mã hóa vị trí trong Transformer giúp bạn hiểu cách mô hình xử lý thông tin thứ tự khi không có cấu trúc tuần tự tự nhiên.

A Beginner’s Guide to World Models

Learn how to simulate reality with Python

Cambricon Joins the PyTorch Foundation as a Platinum Member – PyTorch

Cambricon, nhà sản xuất chip AI Trung Quốc thành lập năm 2016, đã trở thành thành viên Platinum của PyTorch Foundation và giành được ghế trong Hội đồng Quản trị. Công ty này đóng góp lâu dài cho PyTorch ở nhiều lĩnh vực như torch.compile, eager operators, device runtime và distributed computing. Cambricon cũng hợp tác với vLLM community để hỗ trợ các mô hình như DeepSeek-V4 và GLM-5 ngay từ ngày đầu. Hai đại diện Cambricon gồm Jin Wang và Jing Zhu sẽ tham gia Hội đồng và Hội đồng Tư vấn Kỹ thuật của Foundation, với kế hoạch hợp tác sâu hơn về cơ sở biên dịch, CI/CD và hỗ trợ thiết bị không phụ thuộc cho các thư viện PyTorch.

Cambricon gia nhập PyTorch Foundation với tư cách thành viên Platinum giúp cộng đồng lập trình viên nắm rõ hướng hợp tác phát triển AI chip và tối ưu hóa PyTorch cho phần cứng mới.

PyTorch x Hugging Face in Bengaluru: Building India’s Next Generation of ML Systems Contributors – PyTorch

Over 170 students, engineers, and open-source contributors gathered in Bengaluru for a Red Hat and Hugging Face event centered on PyTorch systems engineering. Talks covered PyTorch profiling workflows, LLM inference via SGLang and Hugging Face Kernels, RL environments including the OpenEnv project and Repo2RLEnv, distributed training composability via DeviceMesh/DTensor/FSDP2, and zero-copy GPU-to-GPU communication beyond c10d. The event framed India as a potential contributor to core ML infrastructure, not just a consumer of AI tools, encouraging attendees to get involved in profilers, kernels, runtimes, and communication libraries underpinning the PyTorch ecosystem.

DVC for MLOps: Versioning Your Data and Models the Right Way

Learn how DVC brings data and model versioning to MLOps. Track datasets, checkpoints, and pipelines reliably using Git-friendly workflows.

If You’re Pruning, You Should Be Perforating

Khi triển khai mô hình deep learning vào sản xuất, các đội thường áp dụng kỹ thuật cắt bớt tham số (pruning) để giảm kích thước và tăng tốc độ suy luận. Tuy nhiên, việc loại bỏ các kết nối không chỉ giảm bộ nhớ mà còn làm mất đi phần biểu diễn quan trọng, dẫn đến suy giảm độ chính xác. Nghiên cứu trong bài chỉ ra rằng độ giảm này có thể trở nên đáng kể khi mức độ cắt tăng lên, đặc biệt với các mô hình lớn

Bài viết giúp lập trình viên tối ưu mô hình hiệu quả bằng kỹ thuật Perforating để bù đắp độ chính xác khi cắt giảm tham số.

Deploy vLLM NVIDIA Dynamo Inference: Production Guide

Learn how to deploy vLLM NVIDIA Dynamo inference in production with Docker Compose and tuned PagedAttention to eliminate memory fragmentation.

PyTorch 2.14 Release Blog – PyTorch

PyTorch 2.14 ships with 2,995 commits from 487 contributors, headlined by NVGEMM (CuTeDSL-generated CUTLASS kernels with epilogue fusion for Inductor), a new nccl2 distributed backend ported from torchcomms with fault-tolerant process-group reconfiguration and one-sided RMA windows, and native linear algebra on Apple Silicon (SVD, eigh, QR, Cholesky). Compiler additions include torch.switch for multi-way branching, CUDA-graph-capturable torch.while_loop, and declarative dynamic shapes via @dynamic_spec shared across compile, export, and make_fx. Platform support expands with ROCm 7.14, Intel XPU native graph capture, Rubin (sm_107) targeting, and experimental torch.compile support for complex-valued tensors. Python 3.15 (including free-threaded 3.15t) gets eager-mode wheels, but torch.compile is not yet supported under 3.15 and raises a RuntimeError if invoked. TorchVision 0.29 is now ABI stable against future torch versions, decoupling its release cadence from PyTorch's.

vLLM Sessions at PyTorch Conference North America 2026 – PyTorch

PyTorch Conference North America 2026 (San Jose, October 20–21) features an extensive lineup of vLLM-related sessions spanning KV cache management and disaggregated serving, hardware portability across TPUs, Trainium, Intel GPUs, Arm CPUs, and IBM Spyre, kernel and performance optimization (CUTLASS Python, Triton, Helion, fastsafetensors), PyTorch integration work (ABI stability, dynamic shapes, release engineering), broader application stacks, and a Birds of a Feather session on contributing to vLLM and llm-d. The schedule lists speakers from Red Hat, NVIDIA, Google, Amazon, IBM, Meta, Intel, Huawei, and others, with registration and full schedule links provided.

Implementing a Siamese Network with Contrastive Learning

Full guide with code.

Fast, fault-tolerant PyTorch training on AI Runtime

Bối cảnh Khi chạy training trên hàng ngàn GPU, sự cố phần cứng xảy ra thường xuyên. Nguyên nhân kỹ thuật họ sử dụng smart dataloading để tiếp tục đọc dữ liệu ngay khi một GPU gặp lỗi và checkpointing để lưu trạng thái mô hình mỗi vài phút. Hệ quả là training duy trì tốc độ gần như không giảm và cho phép phục hồi nhanh trong vòng vài giây thay vì phải khởi động lại từ đầu. Điều đáng học là việc kết hợp cả hai kỹ thuật này giảm chi phí phục hồi và tăng tính sẵn sàng cho môi trường production. Nếu bạn muốn tối ưu hoá độ ổn định của mình, nên xem chi tiết cách họ triển khai trong bài gốc.

Bài này giúp lập trình viên tối ưu hóa tốc độ đào tạo PyTorch và chi phí phục hồi khi gặp lỗi ở quy mô GPU lớn.

Core PyTorch Sessions at PyTorch Conference North America 2026 – PyTorch

PyTorch Conference North America 2026, taking place October 20-21 in San Jose, features a Core PyTorch program covering compiler and runtime internals, distributed communication, device portability, release engineering, CI, observability, and accelerator integration. Sessions span topics like out-of-tree backend testing, Claude-based CI automation, ABI stability, torch.compile internals, dynamic shapes, new distributed communication APIs (rocSHMEM, XCCL, NCCL extensions), and accelerator integrations for IBM Spyre, Google TPUs, and AWS Trainium. Registration discounts are available before September 4.

Differential Privacy for Hugging Face Trainers – Without Rewriting Your Training Loop

It is a well-known problem by now that training LLMs on sensitive data raises serious privacy concerns. In a recent blog post, we talked about membership inference attacks and our research on mitigati

Why Python Is the Best Language for AI Development

Trí tuệ nhân tạo đang thay đổi cách doanh nghiệp và người dùng tương tác với công nghệ, từ chatbot tới trợ lý ảo. Python được ưa chuộng vì cú pháp đơn giản, dễ đọc và hệ thống thư viện phong phú hỗ trợ xử lý dữ liệu và mô hình học máy. Nhờ đó, các nhóm phát triển có thể nhanh chóng tạo ra các ứng dụng AI như bot trò chuyện hoặc trợ lý ảo mà không tốn quá nhiều thời gian cho việc thiết lập môi trường. Điều này dẫn đến vòng lặp phản hồi ngắn, cho phép thử nghiệm và cải tiến mô hình liên tục. Vì vậy, khi quyết định chọn ngôn ngữ cho dự án AI, Python là lựa chọn thực tiễn giúp tối ưu hóa tốc độ phát triển và bảo trì.

Python là lựa chọn tối ưu cho phát triển AI nhờ thư viện phong phú và cú pháp đơn giản giúp tăng tốc độ phát triển và hiệu quả công việc.

PyTorch Ecosystem Landscape Welcomes Perforated, AReaL, TorchJD, RLinf, Miles, SMG, FiftyOne, TokenSpeed, VisualTorch, and TorchSurv – PyTorch

Nhóm làm việc PyTorch Ecosystem vừa công bố việc chấp nhận mười dự án mới vào bản đồ hệ sinh thái PyTorch. Các dự án bao gồm Perforated (thư viện huấn luyện hiệu quả dữ liệu), AReaL (cơ sở hạ tầng RL bất đồng bộ cho tác nhân LLM/VLM), TorchJD (huấn luyện đa mất mát qua Jacobian Descent), RLinf (framework RL cho AI thể hiện/đại diện), Miles (framework sau huấn luyện quy mô lớn của RadixArk), SMG (cổng định tuyến mô hình dựa trên Rust), FiftyOne (nền tảng dữ liệu đa phương thức cho AI vật lý), TokenSpeed (engine suy luận LLM tách biệt lớp điều khiển và thực thi), VisualTorch (thư viện trực quan hóa mô hình PyTorch) và TorchSurv (boîte công cụ phân tích tính sinh tồn được đưa vào danh mục khoa học điều lệ của FDA). Sự ra đời của chúng cung cấp các công cụ chuyên biệt để tối ưu hóa hiệu suất huấn luyện, mở rộng khả năng RL và xử lý dữ liệu đa phương thức, đồng thời hỗ trợ việc triển khai mô hình trong môi trường sản xuất và nghiên cứu y tế. Việc tích hợp này mở rộng khả năng lựa chọn cho nhà phát triển, giảm thời gian phát triển và thúc đẩy sự hợp tác giữa các dự án nguồn mở trong cộng đồng PyTorch. Nhóm cũng đưa ra hướng dẫn chi tiết về cách các dự án khác có thể xin được đưa vào landscape, nhấn mạnh tầm quan trọng của việc đáp ứng tiêu chuẩn về tài liệu, độ ổn định và lợi ích cho cộng đồng.

MTIA 300: Meta’s First Training Chip with Built-in NICs and Communication-Offloading Engines

Meta introduces MTIA 300, its first training-optimized chip built specifically for recommendation and ranking models, featuring built-in NIC chiplets and dedicated communication-offloading engines. Unlike GPUs, where collective communication operations compete with compute for shared resources, MTIA 300 integrates 12 custom 800 Gbps RDMA NICs directly on-chip and 16 dedicated message engines that handle AllReduce, AllToAll, and AllGather collectives independently, achieving less than 0.5% compute degradation versus over 20% on GPUs. Co-designed with the HCCL communication library, which compiles collectives into autonomous work-queue subgraphs executed without host involvement, the system delivers up to 940 GB/s bandwidth per rack and 3.9x faster communication than equivalent GPU clusters on a 150-billion-parameter production model across 40 accelerators.

Google's HEIR Aims to Make Homomorphic-Encrypted Inference a One-Click Capability

Bối cảnh: việc triển khai suy luận học máy trên dữ liệu mã hoá đồng nhất luôn gặp khó khăn vì cần kiến thức sâu về mã hoá và thường dẫn đến hiệu suất thấp. Nguyên nhân kỹ thuật: Google ra mắt HEIR – một trình biên dịch và chuỗi công cụ mã nguồn mở cung cấp biểu diễn trung gian (IR) để biến đổi mô hình ML thành các mạch đồng nhất tối ưu cho các scheme như TFHE và CKKS. Hệ quả: với HEIR, nhà phát triển chỉ cần một lệnh để biên dịch và chạy suy luận mã hoá, giảm thời gian tích hợp từ hàng tuần xuống vài giờ và làm cho quá trình triển khai trở nên gần như một‑click. Điều đáng học: đầu tư vào lớp trung gian biên dịch có thể biến công nghệ mật mã phức tạp thành khả năng dễ sử dụng, mở rộng khả năng áp dụng mã hoá đồng nhất trong sản xuất thực tế.

HEIR giúp lập trình triển khai tính toán trên dữ liệu mã hóa hóa một cách đơn giản mà không cần chuyên sâu về mật học.

Compressing data with Autoencoders

Compressing data with Autoencoders We previously looked at compressing data using principal component analysis, and the natural step forward from this is to build a model for compressing data …

Bài này giải thích cách sử dụng autoencoders để nén dữ liệu, một phương pháp hiệu quả hơn PCA cho nhiều ứng dụng thực tế.

GPU-Accelerated Clustering for Financial Instruments at Scale

Bài viết mô tả việc áp dụng AdaptGrow – một thuật toán phân tích ma trận được tăng tốc bằng GPU – để nhóm các công cụ tài chính dựa trên ma trận tương quan lăn và ma trận phụ thuộc đuôi. Quy trình bắt đầu bằng việc tính toán ma trận tương quan lăn và ma trận phụ thuộc đuôi cho hàng nghìn công cụ trong cửa sổ thời gian di chuyển, sau đó đưa chúng vào AdaptGrow để phân tích thành các cụm cứng. Nhờ tính song song của GPU, AdaptGrow giảm thời gian tính toán phân tích ma trận xuống dưới một giây cho mỗi bước lăn, trong khi phiên bản CPU chỉ xử lý được vài chục công cụ trong cùng khoảng thời gian. Kết quả là các cụm được tạo ra phản ánh nhanh chóng các thay đổi trong cấu trúc rủi ro, cho phép các mô hình quản lý danh mục cập nhật trọng số gần như thời gian thực. Điều đáng học là việc kết hợp thuật toán phân tích ma trận với phần cứng GPU có thể mở rộng quy mô phân cụm cho các tập dữ liệu tài chính lớn mà không hy sinh độ chính xác, và đây là hướng phát triển cho các hệ thống risco‑analytics tiếp theo.

Tìm hiểu cách sử dụng AdaptGrow để tăng tốc độ phân cụm công cụ tài chính trên GPU.

PyTorch Conference North America 2026 Keynote Speaker Sessions Announced – PyTorch

PyTorch Conference North America 2026 sẽ diễn ra từ ngày 20-21 tháng 10 tại San Jose, California với danh diễn giả từ các công ty hàng đầu như Meta, AWS, NVIDIA, Google Cloud, Qualcomm, Cohere và Red Hat. Các phiên thảo luận sẽ tập trung vào cập nhật PyTorch, triển khai native PyTorch trên AWS Trainium, xử lý workload agentic AI, tùy biến model và ứng dụng open science trong AI foundation models. Sự kiện này mang đến cơ hội cập nhật công nghệ từ các nhà phát triển nền tảng lớn nhất trong lĩnh vực AI. Đây là cơ hội lý tưởng để các lập trình viên nắm hướng đi phát triển của PyTorch và các framework liên quan trong thời gian tới.

Bài cung cấp thông tin chi tiết về các phiên keynotes từ các công ty hàng đầu và chủ đề công nghệ PyTorch quan trọng nhất sẽ được trình bày tại hội nghị North America 2026.