AMD ZenDNN 6.0 Brings Many Improvements For Accelerating Inference On Ryzen/EPYC CPUs

vLLM1 Hot67 min4 d agoAI

Exploring Speculative Decoding in vLLM on AMD GPUs

Bài viết hướng dẫn cách áp dụng speculative decoding trong framework vLLM khi chạy trên GPU AMD, giải thích cơ chế draft‑and‑verify và các kỹ thuật hỗ trợ như MTP, EAGLE‑3, DFlash và DSpark. Nó cho thấy việc sử dụng mô hình nháp để dự đoán trước các token rồi xác thực bằng mô hình đích giúp giảm số lần truy cập bộ nhớ và tăng tỷ lệ sử dụng lõi tính toán trên kiến trúc AMD CDNA. Kết quả thực nghiệm cho thấy throughput tăng lên đáng kể (thường gấp 1,5‑2×) và latency giảm khi cấu hình đúng kích thước batch và các tham số tuning cụ thể cho từng kernel. Điều này cho thấy lợi thế của speculative decoding không chỉ phụ thuộc vào thuật toán mà còn vào việc tối ưu hóa phần cứng cụ thể, đặc biệt là việc sử dụng DFlash để tối ưu hoá attention và DSpark để quản lý memory traffic trên GPU AMD. Bài viết nên được đọc nếu bạn muốn áp dụng hoặc cải thiện speculative decoding trên hệ thống AMD và cần tham khảo các bước cấu hình, tuning và benchmark thực tế.

Bài viết này cung cấp hướng dẫn thực tế về speculative decoding trên GPU AMD, giúp lập trình viên tối ưu hóa hiệu suất xử lý mô hình ngôn ngữ.

#amd #ai-inference #vllm Source

Google Developers61 Hot3 min2 mo agoAI

Unlocking the Power of the TPU Stack: Introducing our new Developer Hub

Google Cloud vừa giới thiệu TPU Developer Hub, một nền tảng giáo dục tập trung dành cho nhà phát triển ML sử dụng TPU, bao gồm kiến trúc phần cứng, stack phần mềm (XLA, Pallas kernels), công cụ gỡ lỗi XProf, chiến lược tối ưu hóa (như offloading KV cache) cùng networking và bảo mật. Nội dung đa dạng từ Colabs tương tác, mã nguồn mở đến tài liệu chuyên sâu, hỗ trợ tích hợp AI-assisted development.

Lập trình viên ML nên đọc để hiểu cách tối ưu hóa hiệu suất và chi phí của mô hình trên TPU với các công cụ mới như XLA, Pallas và các chiến lược parallelism, từ đó tiết kiệm thời gian và nguồn lực trong triển khai sản phẩm AI.

#machine-learning #pytorch Source

freeCodeCamp1 Hot31 min5 d agoAI

Neural Networks Explained: What They Are and How to Build One in Python

Bài viết giới thiệu về mạng neural là mô hình cơ bản đứng sau nhiều ứng dụng AI hiện đại như nhận dạng chữ viết tay, lọc spam, đề xuất video và xử lý ngôn ngữ tự nhiên. Nó giải thích cấu trúc của mạng bao gồm các lớp nerve cell (neuron), hàm kích hoạt và quá trình lan truyền thuận cùng lan truyền ngược để cập nhật trọng số. Tác giả hướng dẫn cách xây dựng một mạng neural đơn giản từ đầu bằng Python, minh họa với quá trình huấn luyện và đánh giá trên một bộ dữ liệu mẫu. Qua đó, readers thấy được mối quan hệ trực tiếp giữa việc chọn hàm kích hoạt, learning rate và số lớp ẩn với hiệu suất cuối cùng của mô hình. Bài học chính là nắm vững nguyên lý toán học và triển khai cơ bản sẽ giúp lập trình viên dễ dàng chọn framework phù hợp, tinh chỉnh siêu tham số và gỡ lỗi khi làm việc với các mô hình deep learning thực tế.

Bài viết giải thích rõ ràng về mạng thần kinh kinh điển và cách triển khai trong Python, giúp lập trình viên nắm vững nền tảng AI hiện đại.

#python #deep-learning #neural-networks Source

Hacker News2 Hot3 min20 d agoAI

AMD acquires Taalas to boost inference performance by etching models in silicon

AMD mua lại Taalas nhằm nâng cao hiệu suất inference bằng cách khắc mô hình AI trực tiếp lên vi mạch. Các bản demo ban đầu cho thấy các mạch tích hợp chuyên dụng (model-specific integrated circuits) có thể xử lý tới 17.000 token mỗi giây.

Lập trình viên AI cần đọc để hiểu cách AMD đang tận dụng silicon custom hóa để cải thiện hiệu suất xử lý mô hình deep learning, đặc biệt là trong việc tối ưu hóa các ứng dụng inference trên thiết bị edge, giúp tiết kiệm chi phí và tăng tốc độ triển khai.

#gpu #amd #ai-inference Source

Medium1 Hot15 min21 d agoAI

Training a Model on Google Colab, A Survival Guide

Vào epoch thứ 47/60, loss function cuối cùng đã giảm, nhưng trình duyệt đột ngột đóng băng, gián đoạn quá trình training.

Một lập trình viên nên đọc bài này để tránh thất bại khi chạy mô hình AI trên Colab vì không biết cách xử lý các tình huống bất ngờ như thời gian chạy dài, tài nguyên hạn chế hoặc lỗi không mong đợi trong quá trình huấn luyện.

#machine-learning #data-science #deep-learning Source

Facebook Engineering 1 Hot24 min23 d agoAI

GEM Training: How Meta Doubled the Efficiency of Its LLM-Scale Ads Foundation Model

Meta đã tăng gấp đôi hiệu quả đào tạo end-to-end (đạt 20–25% MFU) cho mô hình quảng cáo GEM (LLM-scale) nhờ hai trụ cột: tối ưu hóa tính toán (thư viện kernel tùy chỉnh như Jagged Flash Attention, MXFP8) và hiệu quả mở rộng (5D parallelism, NCCLX, Base Batch Shuffling). Thách thức chính bao gồm đầu vào biến độ dài, mẫu attention bất đối xứng, độ nhạy số học của mục tiêu CTR/CVR, và bảng embedding siêu lớn gây tắc nghẽn bộ nhớ.

Lập trình viên chuyên về mô hình AI/ML nên đọc bài này để tìm hiểu cách tối ưu hóa hiệu suất huấn luyện mô hình lớn bằng kiến thức về parallelism, quantization, và kỹ thuật đặc biệt như Flash Attention và FSDP, giúp giảm chi phí tính toán và tăng tốc triển khai trong ứng dụng thực tế.

#machine-learning #llm #gpu Source

Phoronix1 Hot2 min1 mo agoAI

Lemonade 11.5 Local AI Server Released With Completed Lemonade Router

Phiên bản 11.5 của Lemonade, máy chủ AI cục bộ mã nguồn mở dựa trên AMD, vừa ra mắt với tính năng chính là Lemonade Router hoàn thiện, tự động điều hướng truy vấn LLM theo chính sách cấu hình (dựa trên quy tắc, phân loại, độ tương đồng ngữ nghĩa hoặc LLM-as-router). Ngoài ra, hệ thống bổ sung công cụ quản lý tác vụ đa bước, hỗ trợ kết nối MCP client thông qua daemon, và tương thích với NPU Ryzen AI, GPU Radeon cùng CPU trên Windows và Linux.

Lập trình viên phát triển ứng dụng AI nên đọc vì Lemonade 11.5 cung cấp Lemonade Router hoàn chỉnh, giúp tối ưu hóa lưu lượng truy vấn LLM hiệu quả hơn bằng các phương pháp tự động hóa đa dạng, từ quy tắc đến AI-as-router, giúp tiết kiệm chi phí và cải thiện hiệu suất cho các ứng dụng AI cá nhân hoặc doanh nghiệp.

#llm #mcp #amd Source

Medium1 Hot6 min1 mo agoAI

Building GPT from Scratch: What I Learned Implementing a Transformer in Raw PyTorch

Bài viết chia sẻ kinh nghiệm xây dựng mô hình GPT từ đầu bằng PyTorch thuần túy, không sử dụng thư viện Transformers hay bất kỳ shortcut nào, tập trung vào tensors, attention math và các thành phần cốt lõi.

Lập trình viên muốn khám phá cơ bản của kiến trúc AI hiện đại và hiểu rõ cách attention mechanism hoạt động trong mô hình ngôn ngữ từ scratch sẽ tìm thấy những kiến thức thực hành và tư duy logic sâu sắc giúp nâng cao kỹ năng xây dựng và tối ưu hóa các mô hình AI trong tương lai.

#python #llm #pytorch Source

AMD ZenDNN 6.0 Brings Many Improvements For Accelerating Inference On Ryzen/EPYC CPUs

Recommended for you

Bình luận

Exploring Speculative Decoding in vLLM on AMD GPUs

Unlocking the Power of the TPU Stack: Introducing our new Developer Hub

Neural Networks Explained: What They Are and How to Build One in Python

AMD acquires Taalas to boost inference performance by etching models in silicon

Training a Model on Google Colab, A Survival Guide

GEM Training: How Meta Doubled the Efficiency of Its LLM-Scale Ads Foundation Model

Lemonade 11.5 Local AI Server Released With Completed Lemonade Router

Building GPT from Scratch: What I Learned Implementing a Transformer in Raw PyTorch

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads