Differential Privacy for Hugging Face Trainers – Without Rewriting Your Training Loop

Google Developers61 Hot3 min2 mo agoAI

Unlocking the Power of the TPU Stack: Introducing our new Developer Hub

Google Cloud vừa giới thiệu TPU Developer Hub, một nền tảng giáo dục tập trung dành cho nhà phát triển ML sử dụng TPU, bao gồm kiến trúc phần cứng, stack phần mềm (XLA, Pallas kernels), công cụ gỡ lỗi XProf, chiến lược tối ưu hóa (như offloading KV cache) cùng networking và bảo mật. Nội dung đa dạng từ Colabs tương tác, mã nguồn mở đến tài liệu chuyên sâu, hỗ trợ tích hợp AI-assisted development.

Lập trình viên ML nên đọc để hiểu cách tối ưu hóa hiệu suất và chi phí của mô hình trên TPU với các công cụ mới như XLA, Pallas và các chiến lược parallelism, từ đó tiết kiệm thời gian và nguồn lực trong triển khai sản phẩm AI.

#machine-learning #pytorch Source

freeCodeCamp1 Hot31 min5 d agoAI

Neural Networks Explained: What They Are and How to Build One in Python

Bài viết giới thiệu về mạng neural là mô hình cơ bản đứng sau nhiều ứng dụng AI hiện đại như nhận dạng chữ viết tay, lọc spam, đề xuất video và xử lý ngôn ngữ tự nhiên. Nó giải thích cấu trúc của mạng bao gồm các lớp nerve cell (neuron), hàm kích hoạt và quá trình lan truyền thuận cùng lan truyền ngược để cập nhật trọng số. Tác giả hướng dẫn cách xây dựng một mạng neural đơn giản từ đầu bằng Python, minh họa với quá trình huấn luyện và đánh giá trên một bộ dữ liệu mẫu. Qua đó, readers thấy được mối quan hệ trực tiếp giữa việc chọn hàm kích hoạt, learning rate và số lớp ẩn với hiệu suất cuối cùng của mô hình. Bài học chính là nắm vững nguyên lý toán học và triển khai cơ bản sẽ giúp lập trình viên dễ dàng chọn framework phù hợp, tinh chỉnh siêu tham số và gỡ lỗi khi làm việc với các mô hình deep learning thực tế.

Bài viết giải thích rõ ràng về mạng thần kinh kinh điển và cách triển khai trong Python, giúp lập trình viên nắm vững nền tảng AI hiện đại.

#python #deep-learning #neural-networks Source

Medium1 Hot15 min22 d agoAI

Training a Model on Google Colab, A Survival Guide

Vào epoch thứ 47/60, loss function cuối cùng đã giảm, nhưng trình duyệt đột ngột đóng băng, gián đoạn quá trình training.

Một lập trình viên nên đọc bài này để tránh thất bại khi chạy mô hình AI trên Colab vì không biết cách xử lý các tình huống bất ngờ như thời gian chạy dài, tài nguyên hạn chế hoặc lỗi không mong đợi trong quá trình huấn luyện.

#machine-learning #data-science #deep-learning Source

Facebook Engineering 1 Hot24 min24 d agoAI

GEM Training: How Meta Doubled the Efficiency of Its LLM-Scale Ads Foundation Model

Meta đã tăng gấp đôi hiệu quả đào tạo end-to-end (đạt 20–25% MFU) cho mô hình quảng cáo GEM (LLM-scale) nhờ hai trụ cột: tối ưu hóa tính toán (thư viện kernel tùy chỉnh như Jagged Flash Attention, MXFP8) và hiệu quả mở rộng (5D parallelism, NCCLX, Base Batch Shuffling). Thách thức chính bao gồm đầu vào biến độ dài, mẫu attention bất đối xứng, độ nhạy số học của mục tiêu CTR/CVR, và bảng embedding siêu lớn gây tắc nghẽn bộ nhớ.

Lập trình viên chuyên về mô hình AI/ML nên đọc bài này để tìm hiểu cách tối ưu hóa hiệu suất huấn luyện mô hình lớn bằng kiến thức về parallelism, quantization, và kỹ thuật đặc biệt như Flash Attention và FSDP, giúp giảm chi phí tính toán và tăng tốc triển khai trong ứng dụng thực tế.

#machine-learning #llm #gpu Source

Medium1 Hot6 min1 mo agoAI

Building GPT from Scratch: What I Learned Implementing a Transformer in Raw PyTorch

Bài viết chia sẻ kinh nghiệm xây dựng mô hình GPT từ đầu bằng PyTorch thuần túy, không sử dụng thư viện Transformers hay bất kỳ shortcut nào, tập trung vào tensors, attention math và các thành phần cốt lõi.

Lập trình viên muốn khám phá cơ bản của kiến trúc AI hiện đại và hiểu rõ cách attention mechanism hoạt động trong mô hình ngôn ngữ từ scratch sẽ tìm thấy những kiến thức thực hành và tư duy logic sâu sắc giúp nâng cao kỹ năng xây dựng và tối ưu hóa các mô hình AI trong tương lai.

#python #llm #pytorch Source

Machine Learning Pills1 Hot9 min1 mo agoAI

Weekly Dose #11 - AI Agents Are Getting Easier to Build, and Harder to Control

AI Agents ngày càng dễ xây dựng nhưng khó kiểm soát hơn, theo xu hướng công nghệ mới nổi trong tuần.

Lập trình viên nên đọc bài này để hiểu cách xây dựng và quản lý các AI Agent hiệu quả, từ cơ sở kiến trúc đến rủi ro an toàn, giúp tối ưu hóa hiệu suất và tránh những vấn đề kiểm soát khi ứng dụng phát triển.

#ai-agents #mcp #pytorch Source

Hugging Face1 Hot20 min1 mo agoAI

Profiling in PyTorch (Part 3): Attention is all you profile

Bài viết thứ 3 trong loạt bài phân tích hiệu suất PyTorch tập trung vào cơ chế attention, so sánh chi tiết 4 backend SDPA (math, efficient/xformers-CUTLASS, FlashAttention-2, cuDNN). FlashAttention-2 đạt hiệu suất GPU tốt nhất nhờ sử dụng tối ưu thanh ghi và bộ nhớ chia sẻ, trong khi backend math chậm nhất do overhead ép kiểu FP32 và softmax an toàn.

Lập trình viên cần đọc bài này để hiểu cách tối ưu hóa chi tiết các cơ chế chú ý trong PyTorch, từ những lỗi nhỏ như memcpy không mong đợi đến sự khác biệt đáng kể giữa các backend khác nhau (như SDPA), giúp tiết kiệm thời gian và nguồn lực GPU hiệu quả.

#python #pytorch Source

Hacker News0 Hot13 min15 d agoAI

Teaching Automatic1111 to Speak Metal on an M1

Một nhà phát triển đã tối ưu hóa phiên bản riêng của Automatic1111 cho Apple Silicon (M1/M3 Pro) bằng cách tích hợp Metal Flash Attention, deferred Metal command-buffer submission, routing attention linh hoạt và các cải tiến kernel Metal như GroupNorm+SiLU. Kết quả cho thấy tốc độ tăng 1.47x trên M1 Mac mini (12.8s xuống 8.7s) và giảm từ 8-10s xuống 3-7s trên M3 Pro.

Những kiến thức về tối ưu hóa GPU Metal và quản lý bộ nhớ trong Stable Diffusion—đặc biệt là cách xử lý Flash Attention, routing attention, và kernel fusion—là những kỹ năng thiết yếu để xây dựng ứng dụng AI hiệu quả trên thiết bị Apple Silicon mà không phụ thuộc vào các công cụ bên ngoài, giúp bạn tiết kiệm thời gian và chi phí phát triển.

#performance #pytorch #stable-diffusion Source

Differential Privacy for Hugging Face Trainers – Without Rewriting Your Training Loop

Recommended for you

Bình luận

Unlocking the Power of the TPU Stack: Introducing our new Developer Hub

Neural Networks Explained: What They Are and How to Build One in Python

Training a Model on Google Colab, A Survival Guide

GEM Training: How Meta Doubled the Efficiency of Its LLM-Scale Ads Foundation Model

Building GPT from Scratch: What I Learned Implementing a Transformer in Raw PyTorch

Weekly Dose #11 - AI Agents Are Getting Easier to Build, and Harder to Control

Profiling in PyTorch (Part 3): Attention is all you profile

Teaching Automatic1111 to Speak Metal on an M1

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads