Đang tải bảng tin…
PyTorch0 Hot0 bình luận21 phút đọc
Accelerating PyTorch on AMD GPUs with FlyDSL
Tóm tắt bởi AI
PyTorch hiện định tuyến các thao tác GEMM, attention, RMSNorm và TopK trên GPU AMD MI-series qua FlyDSL, một backend mới không cần custom kernel. FlyDSL đạt được tốc độ 1.10x cho GEMM BF16, 1.58x/1.68x cho scaled GEMM MXFP8/MXFP4, và lên đến 4.82x cho TopK nhỏ, so với Triton. Attention được tối ưu qua AOTriton 0.14.2b, với vLLM đạt 3.01x tốc độ end-to-end cho MXFP4. Giải pháp này giữ nguyên API như torch.mm và scaled_dot_product_attention, không yêu cầu thay đổi code.
AI có thể tóm tắt sai. Đọc bài gốc trước khi dựa vào thông tin quan trọng.
Vì sao nên đọc: Tối ưu hóa hiệu suất PyTorch trên GPU AMD MI350-series thông qua FlyDSL mang lại tăng tốc độ đáng kể lên đến 4.82x cho các phép toán phổ biến.
Bạn nhớ được gì?
Trả lời 3 câu hỏi ngắn để nhận điểm thưởng cho bài này. Chỉ làm khi bạn muốn lấy điểm.
tối đa +17 điểm
3 câu hỏi · dưới một phút · không bắt buộc
Nguồn: https://pytorch.org/blog/accelerating-pytorch-on-amd-gpus-with-flydsl. 8 Sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Hệ sinh thái 8 Sync
Một tài khoản, cả hệ sinh thái
Đọc tin ở đây, luyện code, học theo lộ trình và luyện IELTS trên các sản phẩm anh em — tất cả kết nối với nhau trong hệ sinh thái 8 Sync.
8syncdev.com
8syncdev.comCổng chính của hệ sinh thái: giới thiệu sản phẩm, blog và bảng giá trọn bộ.
Khám pháKhóa học
course.8syncdev.comHọc theo lộ trình rõ từng chặng: video, quiz chấm tự động, certificate và mentor đang làm nghề.
Xem lộ trìnhLuyện code
coding.8syncdev.com1.000 bài DSA, đề tiếng Việt, chấm tự động 7 ngôn ngữ — nhiều bài FREE, chạy ngay trên trình duyệt.
Luyện miễn phíIELTS
ielts.8syncdev.comChấm bốn kỹ năng IELTS bằng AI, phản hồi chi tiết theo rubric.
Dùng thử miễn phíZUS — IDE AI
zus.8syncdev.comAI IDE 22 MB cho dev Việt.
Tải miễn phímind0
mind0.8syncdev.comBộ nhớ tổ chức cho AI agent.
Khám pháAcoLeads
home-acoleads.8syncdev.comAI trực Fanpage, tự sàng lọc lead.
Dùng thửĐề xuất cho bạn
Sebastian Raschka77 Hot12 phútAI
Build Your Own Reasoning Model: A Full Video Course
Khóa học video kéo dài 11 giờ tập trung vào việc xây dựng model reasoning với Python và PyTorch. Nội dung bao gồm các kỹ thuật advanced như evaluation, inference-time scaling, reinforcement learning và distillation. Qua khóa học, bạn sẽ học cách tối ưu hiệu suất của các reasoning model hiện đại. Các bài thực hành code chi tiết giúp hiểu sâu về quy trình training và fine-tuning. Giá trị lớn nhất nằm ở việc kết hợp lý thuyết với thực hành để xây dựng được hệ thống AI có khả năng reasoning mạnh mẽ.
Lập trình viên muốn nâng cấp kiến thức về mô hình học máy từ cơ bản đến ứng dụng thực tế—đặc biệt là trong scaling mô hình, reinforcement learning, và distillation—để áp dụng ngay trong dự án AI của mình với Python và PyTorch.
freeCodeCamp57 Hot18 phútAI
What Is Model Distillation? A Guide for Developers
Model distillation là quy trình chuyển giao kiến thức từ model lớn (teacher) sang model nhỏ hơn (student) để giữ hiệu suất nhưng giảm tài nguyên. Quá trình này sử dụng hàm loss function như knowledge distillation loss để điều chỉnh student model học từ teacher model. Ví dụ, model distillation có thể giảm kích thước model từ 1.2 tỷ parameter xuống chỉ 120 triệu parameter nhưng vẫn giữ 95% accuracy. Công nghệ này đặc biệt hữu ích cho deployment trên thiết bị IoT hoặc mobile devices với hạn chế về computational resources. Điều đáng học là cách kiến thức có thể được "nén" mà không làm mất nhiều thông tin, giúp tối ưu hóa inference time và energy consumption.
Tìm hiểu về Model Distillation giúp các lập trình viên tối ưu hóa hiệu năng mô hình học máy một cách hiệu quả.
freeCodeCamp25 Hot2 phútAI
Hands-On Evolution of Deep Learning – Geoffrey Hinton’s AI Legacy
Geoffrey Hinton được mệnh danh là "Godfather of AI" đã phát triển khóa học trên freeCodeCamp.org YouTube, giúp bạn thành thạo mạng nơ-ron hiện đại bằng cách tái tạo các bước đột phá lịch sử. Khóa học bắt đầu từ neural network truyền thống đến modern deep learning với các ví dụ code cụ thể trên framework PyTorch. Hinton giải thích chi tiết quá trình phát triển của backpropagation, convolutional neural networks và transformer models. Bạn sẽ hiểu tại sao dropout giảm overfitting từ 27% xuống 2.5% và cách attention mechanism thay đổi hoàn toàn NLP. Khóa học này là cơ hội hiếm hoi để học trực tiếp từ người đặt nền móng cho deep learning revolution.
Khóa học giúp bạn nắm vững mạng nơ-ron hiện đại bằng cách tái tạo những tiến trình đột phá trong lịch sử trí tuệ nhân tạo.
Google Developers61 Hot3 phútAI
Unlocking the Power of the TPU Stack: Introducing our new Developer Hub
Google Cloud vừa giới thiệu TPU Developer Hub, một nền tảng giáo dục tập trung dành cho nhà phát triển ML sử dụng TPU, bao gồm kiến trúc phần cứng, stack phần mềm (XLA, Pallas kernels), công cụ gỡ lỗi XProf, chiến lược tối ưu hóa (như offloading KV cache) cùng networking và bảo mật. Nội dung đa dạng từ Colabs tương tác, mã nguồn mở đến tài liệu chuyên sâu, hỗ trợ tích hợp AI-assisted development.
Lập trình viên ML nên đọc để hiểu cách tối ưu hóa hiệu suất và chi phí của mô hình trên TPU với các công cụ mới như XLA, Pallas và các chiến lược parallelism, từ đó tiết kiệm thời gian và nguồn lực trong triển khai sản phẩm AI.
Phoronix2 Hot1 phútAI
Intel LLM-Scaler-vLLM PV 1.5 Brings Big Improvements
Intel vừa cập nhật LLM-Scaler-vLLM PV phiên bản 1.5, container Docker chạy mô hình ngôn ngữ lớn trên phần cứng Intel Arc Graphics thuộc Project Battlematrix. Phiên bản mới nâng cấp từ vLLM 0.14 lên vLLM 0.26 và PyTorch từ v2.10 lên v2.12, vẫn chưa bằng với bản upstream vLLM 0.31. Cập nhật này hỗ trợ thêm mô hình Qwen và Gemma 4, cùng với FP8 và symmetric INT4 quantization online và FP8 KV cache. Hiệu suất được cải thiện với time-to-first-token nhanh hơn cho Qwen và Gemma 4, MTP decoding tốt hơn, và tăng throughput cho LoRA serving và FP8 KV cache.
Bài viết này cung cấp thông tin quan trọng về phiên bản mới nhất của Intel LLM-Scaler-vLLM PV với cải tiến hiệu năng đáng kể và hỗ trợ thêm các mô hình AI tiên tiến.
PyTorch1 Hot14 phútAI
TinyTorch: Don’t Just Import PyTorch. Build It. – PyTorch
TinyTorch là một chương trình open-source giúp người học xây dựng framework ML từ đầu với tensors đến transformers, hoàn toàn bằng Python và API của PyTorch, chạy được trên laptop chỉ 4GB RAM không cần GPU. Dự án phát triển chậm trong 5 năm trước khi bùng nổ mạng xã hội, GitHub stars tăng từ 2,000 lên hơn 27,000 trong 11 tháng với 95+ người đóng góp và được 50+ trường đại học sử dụng. Tác giả chia sẻ bài học: sao chép chính xác production API, quyết định ràng buộc phần cứng trước khi tính năng, đầu tư cơ sở hạ tầng giảng dạy (chấm điểm, tiêu chí) và kế hoạch kế thừa sớm. TinyTorch vẫn còn khoảng trống chưa đo lường được kết quả học tập và chưa hỗ trợ GPU kernels hay distributed training.
TinyTorch giúp lập trình viên hiểu sâu nguyên lý hoạt động của PyTorch qua việc tự xây dựng một framework học máy từ cơ bản đến nâng cao.
freeCodeCamp1 Hot19 phútAI
How to Turn a RECIST Line into a 3D Tumor Segmentation Mask
Bài viết giải quyết vấn đề chuyển đổi RECIST line (đo thẳng) thành 3D tumor segmentation mask (khối u 3D) trong y học hình ảnh. Phương pháp sử dụng deep learning model như UNet để dự đoán hình dạng 3D từ các đo thẳng trên CT scan. Kết quả cho độ chính xác lên đến 89% khi so sánh với manual segmentation. Điều đáng học là kỹ thuật này giảm 70% thời gian làm việc so với phương pháp thủ công truyền thống.
Bài này giúp lập trình viên chuyển đổi RECIST line thành 3D tumor segmentation mask một cách hiệu quả.
PyTorch0 Hot22 phútAI
Open Research, Tooling & Optimization at PyTorch Conference North America 2026 – PyTorch
PyTorch Conference North America 2026 tại San Jose sẽ tập trung vào compiler internals như torch.compile và Dynamo, cùng kernel DSLs đa phần cứng như Helion, CuteDSL, FlyDSL và Triton. Các hệ thống distributed training như Monarch, TorchTitan, DeepSpeed và thư viện giao tiếp collective NCCL extensions, rocSHMEM, MCCL cũng được trình bày sâu. Hội nghị thảo luận về lượng hóa low-precision NVFP4, HiFloat, optimizer Muon, TorchJD, và cơ sở hạ tầng reinforcement learning OpenEnv, TorchTitan RL. Đáng chú ý là các dự án open-source Helion, TinyTorch, Pyrefly, LMCache, OpenEnv cùng nỗ lực hardware portability Spyre, Trainium, TPU.
Bài này cung cấp cái nhìn toàn diện về các công nghệ và tối ưu hóa mới nhất giúp lập trình viên khai thác tối đa sức mạnh của PyTorch.
Bình luận
Đang tải bình luận…