Differential Privacy for Hugging Face Trainers – Without Rewriting Your Training Loop

Google Developers61 Hot3 phút2 tháng trướcAI

Unlocking the Power of the TPU Stack: Introducing our new Developer Hub

Google Cloud vừa giới thiệu TPU Developer Hub, một nền tảng giáo dục tập trung dành cho nhà phát triển ML sử dụng TPU, bao gồm kiến trúc phần cứng, stack phần mềm (XLA, Pallas kernels), công cụ gỡ lỗi XProf, chiến lược tối ưu hóa (như offloading KV cache) cùng networking và bảo mật. Nội dung đa dạng từ Colabs tương tác, mã nguồn mở đến tài liệu chuyên sâu, hỗ trợ tích hợp AI-assisted development.

Lập trình viên ML nên đọc để hiểu cách tối ưu hóa hiệu suất và chi phí của mô hình trên TPU với các công cụ mới như XLA, Pallas và các chiến lược parallelism, từ đó tiết kiệm thời gian và nguồn lực trong triển khai sản phẩm AI.

#machine-learning #pytorch Nguồn

freeCodeCamp1 Hot31 phút5 ngày trướcAI

Neural Networks Explained: What They Are and How to Build One in Python

Bài viết giới thiệu về mạng neural là mô hình cơ bản đứng sau nhiều ứng dụng AI hiện đại như nhận dạng chữ viết tay, lọc spam, đề xuất video và xử lý ngôn ngữ tự nhiên. Nó giải thích cấu trúc của mạng bao gồm các lớp nerve cell (neuron), hàm kích hoạt và quá trình lan truyền thuận cùng lan truyền ngược để cập nhật trọng số. Tác giả hướng dẫn cách xây dựng một mạng neural đơn giản từ đầu bằng Python, minh họa với quá trình huấn luyện và đánh giá trên một bộ dữ liệu mẫu. Qua đó, readers thấy được mối quan hệ trực tiếp giữa việc chọn hàm kích hoạt, learning rate và số lớp ẩn với hiệu suất cuối cùng của mô hình. Bài học chính là nắm vững nguyên lý toán học và triển khai cơ bản sẽ giúp lập trình viên dễ dàng chọn framework phù hợp, tinh chỉnh siêu tham số và gỡ lỗi khi làm việc với các mô hình deep learning thực tế.

Bài viết giải thích rõ ràng về mạng thần kinh kinh điển và cách triển khai trong Python, giúp lập trình viên nắm vững nền tảng AI hiện đại.

#python #deep-learning #neural-networks Nguồn

Medium1 Hot15 phút22 ngày trướcAI

Training a Model on Google Colab, A Survival Guide

Vào epoch thứ 47/60, loss function cuối cùng đã giảm, nhưng trình duyệt đột ngột đóng băng, gián đoạn quá trình training.

Một lập trình viên nên đọc bài này để tránh thất bại khi chạy mô hình AI trên Colab vì không biết cách xử lý các tình huống bất ngờ như thời gian chạy dài, tài nguyên hạn chế hoặc lỗi không mong đợi trong quá trình huấn luyện.

#machine-learning #data-science #deep-learning Nguồn

Facebook Engineering 1 Hot24 phút24 ngày trướcAI

GEM Training: How Meta Doubled the Efficiency of Its LLM-Scale Ads Foundation Model

Meta đã tăng gấp đôi hiệu quả đào tạo end-to-end (đạt 20–25% MFU) cho mô hình quảng cáo GEM (LLM-scale) nhờ hai trụ cột: tối ưu hóa tính toán (thư viện kernel tùy chỉnh như Jagged Flash Attention, MXFP8) và hiệu quả mở rộng (5D parallelism, NCCLX, Base Batch Shuffling). Thách thức chính bao gồm đầu vào biến độ dài, mẫu attention bất đối xứng, độ nhạy số học của mục tiêu CTR/CVR, và bảng embedding siêu lớn gây tắc nghẽn bộ nhớ.

Lập trình viên chuyên về mô hình AI/ML nên đọc bài này để tìm hiểu cách tối ưu hóa hiệu suất huấn luyện mô hình lớn bằng kiến thức về parallelism, quantization, và kỹ thuật đặc biệt như Flash Attention và FSDP, giúp giảm chi phí tính toán và tăng tốc triển khai trong ứng dụng thực tế.

#machine-learning #llm #gpu Nguồn

Medium1 Hot6 phút1 tháng trướcAI

Building GPT from Scratch: What I Learned Implementing a Transformer in Raw PyTorch

Bài viết chia sẻ kinh nghiệm xây dựng mô hình GPT từ đầu bằng PyTorch thuần túy, không sử dụng thư viện Transformers hay bất kỳ shortcut nào, tập trung vào tensors, attention math và các thành phần cốt lõi.

Lập trình viên muốn khám phá cơ bản của kiến trúc AI hiện đại và hiểu rõ cách attention mechanism hoạt động trong mô hình ngôn ngữ từ scratch sẽ tìm thấy những kiến thức thực hành và tư duy logic sâu sắc giúp nâng cao kỹ năng xây dựng và tối ưu hóa các mô hình AI trong tương lai.

#python #llm #pytorch Nguồn

Machine Learning Pills1 Hot9 phút1 tháng trướcAI

Weekly Dose #11 - AI Agents Are Getting Easier to Build, and Harder to Control

AI Agents ngày càng dễ xây dựng nhưng khó kiểm soát hơn, theo xu hướng công nghệ mới nổi trong tuần.

Lập trình viên nên đọc bài này để hiểu cách xây dựng và quản lý các AI Agent hiệu quả, từ cơ sở kiến trúc đến rủi ro an toàn, giúp tối ưu hóa hiệu suất và tránh những vấn đề kiểm soát khi ứng dụng phát triển.

#ai-agents #mcp #pytorch Nguồn

Hugging Face1 Hot20 phút1 tháng trướcAI

Profiling in PyTorch (Part 3): Attention is all you profile

Bài viết thứ 3 trong loạt bài phân tích hiệu suất PyTorch tập trung vào cơ chế attention, so sánh chi tiết 4 backend SDPA (math, efficient/xformers-CUTLASS, FlashAttention-2, cuDNN). FlashAttention-2 đạt hiệu suất GPU tốt nhất nhờ sử dụng tối ưu thanh ghi và bộ nhớ chia sẻ, trong khi backend math chậm nhất do overhead ép kiểu FP32 và softmax an toàn.

Lập trình viên cần đọc bài này để hiểu cách tối ưu hóa chi tiết các cơ chế chú ý trong PyTorch, từ những lỗi nhỏ như memcpy không mong đợi đến sự khác biệt đáng kể giữa các backend khác nhau (như SDPA), giúp tiết kiệm thời gian và nguồn lực GPU hiệu quả.

#python #pytorch Nguồn

Hacker News0 Hot13 phút15 ngày trướcAI

Teaching Automatic1111 to Speak Metal on an M1

Một nhà phát triển đã tối ưu hóa phiên bản riêng của Automatic1111 cho Apple Silicon (M1/M3 Pro) bằng cách tích hợp Metal Flash Attention, deferred Metal command-buffer submission, routing attention linh hoạt và các cải tiến kernel Metal như GroupNorm+SiLU. Kết quả cho thấy tốc độ tăng 1.47x trên M1 Mac mini (12.8s xuống 8.7s) và giảm từ 8-10s xuống 3-7s trên M3 Pro.

Những kiến thức về tối ưu hóa GPU Metal và quản lý bộ nhớ trong Stable Diffusion—đặc biệt là cách xử lý Flash Attention, routing attention, và kernel fusion—là những kỹ năng thiết yếu để xây dựng ứng dụng AI hiệu quả trên thiết bị Apple Silicon mà không phụ thuộc vào các công cụ bên ngoài, giúp bạn tiết kiệm thời gian và chi phí phát triển.

#performance #pytorch #stable-diffusion Nguồn

Differential Privacy for Hugging Face Trainers – Without Rewriting Your Training Loop

Đề xuất cho bạn

Bình luận

Unlocking the Power of the TPU Stack: Introducing our new Developer Hub

Neural Networks Explained: What They Are and How to Build One in Python

Training a Model on Google Colab, A Survival Guide

GEM Training: How Meta Doubled the Efficiency of Its LLM-Scale Ads Foundation Model

Building GPT from Scratch: What I Learned Implementing a Transformer in Raw PyTorch

Weekly Dose #11 - AI Agents Are Getting Easier to Build, and Harder to Control

Profiling in PyTorch (Part 3): Attention is all you profile

Teaching Automatic1111 to Speak Metal on an M1

Một tài khoản, cả hệ sinh thái

8syncdev.com

Khóa học

Luyện code

IELTS

ZUS — IDE AI

mind0

AcoLeads