Richard Geldreich's Blog: Neural block textures stored inside KTX2: a near-perfect fit

Medium2 Hot6 min2 d agoAI

What Actually Happens Inside the Transformer MLP Layer?

Trong các mô hình ngôn ngữ lớn, sự chú ý thường tập trung vào cơ chế self-attention, trong khi lớp MLP (feed-forward network) của mỗi block transformer nhận ít phân tích hơn. MLP gồm hai biến đổi tuyến tính với một hàm kích hoạt phi tuyến (thường là GELU), mở rộng chiều từ mô hình dimension d lên trung gian thường là 4d (ví dụ 768→3072 trong BERT-base hoặc 4096→12288 trong GPT-3) rồi giảm lại về d. Vì hoạt động trên mỗi token độc lập và chứa phần lớn tham số (khoảng 2/3 tổng) và FLOPs, lớp MLP quyết định sức mạnh biểu diễn và cũng là chokepoint chính của tốc độ suy luận. Hiểu rõ cách MLP hoạt động cho thấy các kỹ thuật như giảm rank, quantization activation hoặc thay thế bằng Mixture-of-Experts (MoE) có thể giảm đáng kể chi phí tính toán mà không suy giảm hiệu suất. Vì vậy, khi đánh giá hoặc tối ưu hóa transformer nên tập trung vào lớp này cũng như self-attention.

Bài này giải thích chi tiết cơ chế hoạt động của lớp MLP trong Transformer, thành phần thường bị bỏ quên nhưng quan trọng không kém cơ chế Self-Attention.

#machine-learning #llm #deep-learning Source

All Things Open3 Hot3 min3 d agoAI

Why matching CUDA drivers is finally easier

Bài viết giải thích rằng trước đây việc sao chép bản CUDA toolkit và driver phải khớp chính xác phiên bản, gây nhiều lỗi khi triển khai trên các hệ thống khác nhau. NVIDIA đã ra mắt CUDA Compatibility Pack bắt đầu từ CUDA 11.7, cho phép một bản driver duy nhất hỗ trợ nhiều phiên bản toolkit liên tiếp. Nhờ đó, trên Linux và Windows, nhà phát triển chỉ cần cập nhật driver mỗi kwartal thay vì mỗi khi nâng cấp toolkit, giảm thiểu thời gian downtime. Thử nghiệm trên các cụm GPU cho thấy tỷ lệ lỗi phiên bản driver giảm hơn 70% so với phương pháp cũ. Điều này cho thấy đầu tư vào các gói tương thích ngược có thể đơn giản hoá quy trình CI/CD cho các ứng dụng GPU-intensive.

Bài này giải thích tại sao việc khớp phiên bản driver CUDA giờ đây đơn giản hơn, giúp lập trình viên tiết kiệm thời gian và giảm thiểu lỗi hệ thống.

#nvidia #cuda #opentofu Source

MIT News48 Hot6 min1 mo agoAI

How visual learning happens in the brain

Nghiên cứu mới chỉ ra cách những thay đổi trong xử lý hình ảnh hỗ trợ khả năng phân biệt các loại đồ vật mới. Bằng cách mô hình hóa những thay đổi này trong mạng nơ-ron nhân tạo, các nhà nghiên cứu hy vọng dự đoán chính xác hơn cách đào tạo định hình nhận thức, từ đó cải thiện chiến lược giáo dục cho nhiều đối tượng học viên.

Lập trình viên nên đọc bài này để hiểu cách nhận thức hình ảnh được tái cấu trúc trong não giúp cải thiện khả năng phân biệt đối tượng mới, từ đó ứng dụng kiến thức về xử lý dữ liệu và học máy để thiết kế hệ thống AI hiệu quả hơn trong việc phân tích và học từ dữ liệu hình ảnh.

#machine-learning #neural-networks Source

sean goedecke14 Hot11 min1 mo agoAI

Overtraining as the path to human-like AI

Bài viết giới thiệu ý tưởng của Gwern về việc sử dụng "overtraining" (huấn luyện quá mức) để đạt được khả năng tổng quát hóa giống con người trong các mô hình ngôn ngữ lớn (LLMs). Thay vì huấn luyện mô hình nhỏ trên dữ liệu khổng lồ như hiện nay, phương pháp đề xuất là huấn luyện một mô hình siêu lớn (~100 nghìn tỷ tham số) trên tập dữ liệu hạn chế, nhằm buộc mô hình khám phá các quy luật sâu thay vì ghi nhớ.

Lập trình viên nên đọc bài này để hiểu cách các mô hình AI hiện đại có thể bị giới hạn bởi kỹ thuật huấn luyện truyền thống, và tìm kiếm những giải pháp đột phá như grokking—một phương pháp có thể giúp xây dựng các mô hình mạnh mẽ hơn, vượt qua giới hạn của việc chỉ dựa vào dữ liệu lớn mà không tìm ra những quy luật sâu sắc.

#machine-learning #llm #neural-networks Source

freeCodeCamp1 Hot31 min15 d agoAI

Neural Networks Explained: What They Are and How to Build One in Python

Bài viết giới thiệu về mạng neural là mô hình cơ bản đứng sau nhiều ứng dụng AI hiện đại như nhận dạng chữ viết tay, lọc spam, đề xuất video và xử lý ngôn ngữ tự nhiên. Nó giải thích cấu trúc của mạng bao gồm các lớp nerve cell (neuron), hàm kích hoạt và quá trình lan truyền thuận cùng lan truyền ngược để cập nhật trọng số. Tác giả hướng dẫn cách xây dựng một mạng neural đơn giản từ đầu bằng Python, minh họa với quá trình huấn luyện và đánh giá trên một bộ dữ liệu mẫu. Qua đó, readers thấy được mối quan hệ trực tiếp giữa việc chọn hàm kích hoạt, learning rate và số lớp ẩn với hiệu suất cuối cùng của mô hình. Bài học chính là nắm vững nguyên lý toán học và triển khai cơ bản sẽ giúp lập trình viên dễ dàng chọn framework phù hợp, tinh chỉnh siêu tham số và gỡ lỗi khi làm việc với các mô hình deep learning thực tế.

Bài viết giải thích rõ ràng về mạng thần kinh kinh điển và cách triển khai trong Python, giúp lập trình viên nắm vững nền tảng AI hiện đại.

#python #deep-learning #neural-networks Source

R-bloggers1 Hot1 min22 d agoAI

‘Zero-Shot Probabilistic Stock Returns Forecasting with Pretrained RVFL Networks’ accepted at COPA 2026 (and to appear in the Proceedings of Machine Learning Research)

Bài báo "Dự báo lợi nhuận cổ phiếu zero-shot bằng mạng RVFL đã tiền huấn luyện" được chấp nhận đăng tại hội nghị COPA 2026. Mã nguồn và liên kết bài báo đã được công bố.

Lập trình viên chuyên về phân tích dữ liệu hoặc AI, đặc biệt là trong lĩnh vực dự đoán thị trường tài chính, nên đọc bài này để khám phá cách sử dụng mạng lưới RVFL (Randomized Variational Feature Learning) đã được pretrain để dự đoán kết quả thị trường một cách hiệu quả mà không cần dữ liệu huấn luyện trước (zero-shot), giúp tối ưu hóa hiệu suất và ứng dụng trong các dự án thực tế.

#machine-learning #r #neural-networks Source

Code Like A Girl1 Hot8 min23 d agoAI

How Self-Attention Works in Large Language Models: Explained with Simple Examples

Cơ chế self-attention là đột phá giúp các mô hình ngôn ngữ lớn hiểu ngữ cảnh thông qua attention scores, Queries, Keys và Values.

Một lập trình viên cần đọc bài này để hiểu cơ chế tự chú ý (self-attention) trong mô hình ngôn ngữ lớn, giúp xây dựng các giải pháp AI thông minh hơn bằng cách tối ưu hóa cách xử lý dữ liệu văn bản và cải thiện hiệu suất trong các ứng dụng tự động hóa.

#machine-learning #llm #neural-networks Source

Hacker News1 Hot5 min26 d agoAI

WorldClaw — Agentic 3D Open-World Generation at Scale

WorldClaw là một framework agentic, biến một prompt mở thành một cảnh 3D thế giới mở có thể khám phá và chỉnh sửa.

Lập trình viên nên đọc bài này để khám phá cách xây dựng thế giới 3D mở mở rộng và tương tác thông qua các agentic framework, giúp tối ưu hóa quy trình phát triển game, mô phỏng vật lý hoặc ứng dụng VR/AR bằng cách tự động hóa sinh thành và điều chỉnh không gian 3D từ các yêu cầu đơn giản.

#game-development #agentic-ai #graphics-programming Source

Richard Geldreich's Blog: Neural block textures stored inside KTX2: a near-perfect fit

Recommended for you

Bình luận

What Actually Happens Inside the Transformer MLP Layer?

Why matching CUDA drivers is finally easier

How visual learning happens in the brain

Overtraining as the path to human-like AI

Neural Networks Explained: What They Are and How to Build One in Python

‘Zero-Shot Probabilistic Stock Returns Forecasting with Pretrained RVFL Networks’ accepted at COPA 2026 (and to appear in the Proceedings of Machine Learning Research)

How Self-Attention Works in Large Language Models: Explained with Simple Examples

WorldClaw — Agentic 3D Open-World Generation at Scale

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads