Richard Geldreich's Blog: Neural block texture compression with CUDA

Medium2 Hot6 min1 d agoAI

What Actually Happens Inside the Transformer MLP Layer?

Trong các mô hình ngôn ngữ lớn, sự chú ý thường tập trung vào cơ chế self-attention, trong khi lớp MLP (feed-forward network) của mỗi block transformer nhận ít phân tích hơn. MLP gồm hai biến đổi tuyến tính với một hàm kích hoạt phi tuyến (thường là GELU), mở rộng chiều từ mô hình dimension d lên trung gian thường là 4d (ví dụ 768→3072 trong BERT-base hoặc 4096→12288 trong GPT-3) rồi giảm lại về d. Vì hoạt động trên mỗi token độc lập và chứa phần lớn tham số (khoảng 2/3 tổng) và FLOPs, lớp MLP quyết định sức mạnh biểu diễn và cũng là chokepoint chính của tốc độ suy luận. Hiểu rõ cách MLP hoạt động cho thấy các kỹ thuật như giảm rank, quantization activation hoặc thay thế bằng Mixture-of-Experts (MoE) có thể giảm đáng kể chi phí tính toán mà không suy giảm hiệu suất. Vì vậy, khi đánh giá hoặc tối ưu hóa transformer nên tập trung vào lớp này cũng như self-attention.

Bài này giải thích chi tiết cơ chế hoạt động của lớp MLP trong Transformer, thành phần thường bị bỏ quên nhưng quan trọng không kém cơ chế Self-Attention.

#machine-learning #llm #deep-learning Source

All Things Open3 Hot3 min2 d agoAI

Why matching CUDA drivers is finally easier

Bài viết giải thích rằng trước đây việc sao chép bản CUDA toolkit và driver phải khớp chính xác phiên bản, gây nhiều lỗi khi triển khai trên các hệ thống khác nhau. NVIDIA đã ra mắt CUDA Compatibility Pack bắt đầu từ CUDA 11.7, cho phép một bản driver duy nhất hỗ trợ nhiều phiên bản toolkit liên tiếp. Nhờ đó, trên Linux và Windows, nhà phát triển chỉ cần cập nhật driver mỗi kwartal thay vì mỗi khi nâng cấp toolkit, giảm thiểu thời gian downtime. Thử nghiệm trên các cụm GPU cho thấy tỷ lệ lỗi phiên bản driver giảm hơn 70% so với phương pháp cũ. Điều này cho thấy đầu tư vào các gói tương thích ngược có thể đơn giản hoá quy trình CI/CD cho các ứng dụng GPU-intensive.

Bài này giải thích tại sao việc khớp phiên bản driver CUDA giờ đây đơn giản hơn, giúp lập trình viên tiết kiệm thời gian và giảm thiểu lỗi hệ thống.

#nvidia #cuda #opentofu Source

MIT News48 Hot6 min1 mo agoAI

How visual learning happens in the brain

Nghiên cứu mới chỉ ra cách những thay đổi trong xử lý hình ảnh hỗ trợ khả năng phân biệt các loại đồ vật mới. Bằng cách mô hình hóa những thay đổi này trong mạng nơ-ron nhân tạo, các nhà nghiên cứu hy vọng dự đoán chính xác hơn cách đào tạo định hình nhận thức, từ đó cải thiện chiến lược giáo dục cho nhiều đối tượng học viên.

Lập trình viên nên đọc bài này để hiểu cách nhận thức hình ảnh được tái cấu trúc trong não giúp cải thiện khả năng phân biệt đối tượng mới, từ đó ứng dụng kiến thức về xử lý dữ liệu và học máy để thiết kế hệ thống AI hiệu quả hơn trong việc phân tích và học từ dữ liệu hình ảnh.

#machine-learning #neural-networks Source

XDA Developers1 Hot4 min5 d agoAI

I stopped downloading bigger local models and started running two small ones at once

Bạn đang cân nhắc đọc bài vì nó đề cập đến việc thay thế một local model 8GB bằng cách chạy song song hai local models 2GB trên cùng một máy. Nguyên nhân kỹ thuật nằm ở việc giảm áp lực rememory khi mỗi mô hình vừa đủ để chứa trọng số và gradient, khiến việc load và inference nhanh hơn. Hệ quả là tổng thời gian xử lý giảm đáng kể và tiêu thụ bộ nhớ thấp hơn so với việc duy trì một local model lớn. Kết luận là việc dùng nhiều local models nhỏ có thể hiệu quả hơn một local model to khi tài nguyên bị giới hạn. Bạn nên đọc bài nếu muốn hiểu cách tối ưu hoá inference bằng cách chia tải cho nhiều mô hình nhỏ thay vì cố gắng nâng cấp bộ nhớ.

Hai mô hình nhỏ 2GB chạy đồng thời mang lại hiệu quả vượt trội hơn một mô hình lớn 8GB.

#data-science #gpu #local-ai Source

The Developing Dev32 Hot51 min1 mo agoAI

Turing Award Winner: TPUs vs GPUs vs CPUs, Computer Architecture, RISC vs CISC

Tôi từng học sơ lược về RISC và CISC ở đại học nhưng giờ hầu như quên hết.

Nếu bạn đang phát triển ứng dụng AI hoặc xử lý dữ liệu lớn, hiểu rõ sự khác biệt giữa kiến trúc RISC và CISC sẽ giúp bạn tối ưu hiệu suất và lựa chọn thiết bị (TPU, GPU, CPU) phù hợp với công việc của mình.

#architecture #gpu Source

DigitalOcean Community1 Hot25 min9 d agoAI

Cold Start Latency on Serverless Inference: What Actually Happens in Those Few Seconds

Khi chạy mô hình học sâu trên nền tảng serverless như AWS Lambda, Azure Functions hoặc Google Cloud Run, mỗi lần gọi đầu tiên sẽ trải qua giai đoạn cold start khiến latency tăng đáng kể. Latency chủ yếu xuất phát từ thời gian tải image container, giải nén và khởi tạo runtime, đồng thời phải load mô hình từ bộ lưu trữ (S3, Blob Storage) vào RAM, và thời gian này tỷ lệ thuận với kích thước mô hình – ví dụ một mô hình 2 GB có thể cần 3‑5 giây để load. Hệ quả là các request đầu tiên gặp trễ từ vài trăm miligiây (đối với hàm nhẹ) tới vài giây (đối với mô hình lớn), làm giảm trải nghiệm người dùng và gây khó khăn trong các ứng dụng cần phản hồi real‑time như chatbot hoặc xử lý video. Các tối ưu như giảm kích thước mô hình qua quantization hoặc pruning, sử dụng lớp cache /tmp hoặc EFS, bật tính năng provisioned concurrency hoặc AWS Lambda SnapStart, và chọn runtime dựa trên hình ảnh cơ sở nhỏ (distroless, Alpine) có thể cắt giảm cold start xuống dưới 500 ms cho hầu hết các trường hợp. Kết hợp các kỹ thuật trên không chỉ giảm latency mà còn tiết kiệm chi phí do giảm thời gian thực thi và số lần khởi tạo container.

Bài viết giải thích rõ ràng về nguyên nhân gây độ trễ lúc khởi đầu và cách tối ưu hiệu suất cho serverless inference.

#serverless #gpu #digitalocean Source

sean goedecke14 Hot11 min1 mo agoAI

Overtraining as the path to human-like AI

Bài viết giới thiệu ý tưởng của Gwern về việc sử dụng "overtraining" (huấn luyện quá mức) để đạt được khả năng tổng quát hóa giống con người trong các mô hình ngôn ngữ lớn (LLMs). Thay vì huấn luyện mô hình nhỏ trên dữ liệu khổng lồ như hiện nay, phương pháp đề xuất là huấn luyện một mô hình siêu lớn (~100 nghìn tỷ tham số) trên tập dữ liệu hạn chế, nhằm buộc mô hình khám phá các quy luật sâu thay vì ghi nhớ.

Lập trình viên nên đọc bài này để hiểu cách các mô hình AI hiện đại có thể bị giới hạn bởi kỹ thuật huấn luyện truyền thống, và tìm kiếm những giải pháp đột phá như grokking—một phương pháp có thể giúp xây dựng các mô hình mạnh mẽ hơn, vượt qua giới hạn của việc chỉ dựa vào dữ liệu lớn mà không tìm ra những quy luật sâu sắc.

#machine-learning #llm #neural-networks Source

freeCodeCamp1 Hot18 min8 d agoAI

From Mixtral to Kimi K3: How Mixture-of-Experts Models Evolved

MoE models bắt đầu với một số lượng chuyên gia hạn chế, ví dụ Mixtral sử dụng 8 chuyên gia mỗi lớp. Để đạt hiệu suất cao hơn, các nhà nghiên cứu đã mở rộng số chuyên gia lên gần 900 mỗi lớp trong Kimi K3, đồng thời phải giải quyết vấn đề tính sparse và độ ổn định trong quá trình huấn luyện. Các cơ chế nén như cắt bớt chuyên gia ít dùng, lượng tử hóa và phân tích hạng thấp kết hợp với các kỹ thuật ổn định như loss phụ trợ, hệ số capacity và dropout trên router cho phép mô hình vẫn khả thi để huấn luyện mà không giảm hiệu suất. Điều đáng học là khi mở rộng MoE, việc cân bằng tải giữa các chuyên gia và duy trì độ ổn định của router là then chốt để tránh hiện tượng chuyên gia chết hoặc quá tải. Điều này cho thấy, ngoài việc tăng số chuyên gia, đầu tư vào các kỹ thuật nén và ổn định là yếu tố quyết định sự thành công của các mô hình MoE hiện đại.

Bài viết này giúp lập trình viên hiểu cách mô hình Mixture-of-Experts phát triển từ vài chuyên gia đến gần 900 chuyên gia mỗi lớp và các cơ chế nén ổn định.

#llm #deep-learning #gpu Source

Richard Geldreich's Blog: Neural block texture compression with CUDA

Recommended for you

Bình luận

What Actually Happens Inside the Transformer MLP Layer?

Why matching CUDA drivers is finally easier

How visual learning happens in the brain

I stopped downloading bigger local models and started running two small ones at once

Turing Award Winner: TPUs vs GPUs vs CPUs, Computer Architecture, RISC vs CISC

Cold Start Latency on Serverless Inference: What Actually Happens in Those Few Seconds

Overtraining as the path to human-like AI

From Mixtral to Kimi K3: How Mixture-of-Experts Models Evolved

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads