Wits researchers build a neural network that runs on light

Hands-On Evolution of Deep Learning – Geoffrey Hinton’s AI Legacy

Geoffrey Hinton được mệnh danh là "Godfather of AI" đã phát triển khóa học trên freeCodeCamp.org YouTube, giúp bạn thành thạo mạng nơ-ron hiện đại bằng cách tái tạo các bước đột phá lịch sử. Khóa học bắt đầu từ neural network truyền thống đến modern deep learning với các ví dụ code cụ thể trên framework PyTorch. Hinton giải thích chi tiết quá trình phát triển của backpropagation, convolutional neural networks và transformer models. Bạn sẽ hiểu tại sao dropout giảm overfitting từ 27% xuống 2.5% và cách attention mechanism thay đổi hoàn toàn NLP. Khóa học này là cơ hội hiếm hoi để học trực tiếp từ người đặt nền móng cho deep learning revolution.

Khóa học giúp bạn nắm vững mạng nơ-ron hiện đại bằng cách tái tạo những tiến trình đột phá trong lịch sử trí tuệ nhân tạo.

Deep Learning Series: Magic Box is Moving to the Deep Neural Network!

Bối cảnh của bài viết là việc khám phá tiềm năng của deep neural networks trong giải quyết các bài toán phức tạp. Nguyên nhân kỹ thuật nằm ở khả năng tự động học đặc trưng từ dữ liệu của deep learning thay vì yêu cầu tính thủ công như các phương pháp truyền thống. Hệ quả là các mô hình như ResNet, VGG và CNN đã đạt được hiệu suất vượt trội trong các nhiệm vụ nhận dạng hình ảnh và xử lý ngôn ngữ tự nhiên. Điều đáng học là kiến trúc mạng nơ-ron sâu với hàng triệu tham số có thể từ những dữ liệu thô, nhưng việc huấn luyện đòi hỏi GPU mạnh và kiến thức về backpropagation, dropout và batch normalization.

Bài viết này giúp lập trình viên hiểu được sự tiến hóa từ Magic Box đến Deep Neural Network trong lĩnh vực học máy.

How visual learning happens in the brain

Nghiên cứu mới chỉ ra cách những thay đổi trong xử lý hình ảnh hỗ trợ khả năng phân biệt các loại đồ vật mới. Bằng cách mô hình hóa những thay đổi này trong mạng nơ-ron nhân tạo, các nhà nghiên cứu hy vọng dự đoán chính xác hơn cách đào tạo định hình nhận thức, từ đó cải thiện chiến lược giáo dục cho nhiều đối tượng học viên.

Lập trình viên nên đọc bài này để hiểu cách nhận thức hình ảnh được tái cấu trúc trong não giúp cải thiện khả năng phân biệt đối tượng mới, từ đó ứng dụng kiến thức về xử lý dữ liệu và học máy để thiết kế hệ thống AI hiệu quả hơn trong việc phân tích và học từ dữ liệu hình ảnh.

Overtraining as the path to human-like AI

Bài viết giới thiệu ý tưởng của Gwern về việc sử dụng "overtraining" (huấn luyện quá mức) để đạt được khả năng tổng quát hóa giống con người trong các mô hình ngôn ngữ lớn (LLMs). Thay vì huấn luyện mô hình nhỏ trên dữ liệu khổng lồ như hiện nay, phương pháp đề xuất là huấn luyện một mô hình siêu lớn (~100 nghìn tỷ tham số) trên tập dữ liệu hạn chế, nhằm buộc mô hình khám phá các quy luật sâu thay vì ghi nhớ.

Lập trình viên nên đọc bài này để hiểu cách các mô hình AI hiện đại có thể bị giới hạn bởi kỹ thuật huấn luyện truyền thống, và tìm kiếm những giải pháp đột phá như grokking—một phương pháp có thể giúp xây dựng các mô hình mạnh mẽ hơn, vượt qua giới hạn của việc chỉ dựa vào dữ liệu lớn mà không tìm ra những quy luật sâu sắc.

What Actually Happens Inside the Transformer MLP Layer?

Trong các mô hình ngôn ngữ lớn, sự chú ý thường tập trung vào cơ chế self-attention, trong khi lớp MLP (feed-forward network) của mỗi block transformer nhận ít phân tích hơn. MLP gồm hai biến đổi tuyến tính với một hàm kích hoạt phi tuyến (thường là GELU), mở rộng chiều từ mô hình dimension d lên trung gian thường là 4d (ví dụ 768→3072 trong BERT-base hoặc 4096→12288 trong GPT-3) rồi giảm lại về d. Vì hoạt động trên mỗi token độc lập và chứa phần lớn tham số (khoảng 2/3 tổng) và FLOPs, lớp MLP quyết định sức mạnh biểu diễn và cũng là chokepoint chính của tốc độ suy luận. Hiểu rõ cách MLP hoạt động cho thấy các kỹ thuật như giảm rank, quantization activation hoặc thay thế bằng Mixture-of-Experts (MoE) có thể giảm đáng kể chi phí tính toán mà không suy giảm hiệu suất. Vì vậy, khi đánh giá hoặc tối ưu hóa transformer nên tập trung vào lớp này cũng như self-attention.

Bài này giải thích chi tiết cơ chế hoạt động của lớp MLP trong Transformer, thành phần thường bị bỏ quên nhưng quan trọng không kém cơ chế Self-Attention.

Python AI: How to Build a Neural Network & Make Predictions Quiz – Real Python

Bài viết là một quiz từ Real Python nhằm kiểm tra mức độ hiểu biết về cách mạng neural thực hiện dự đoán bằng Python. Nó tập trung vào các khái niệm cơ bản như tính dot product giữa vector trọng số và đầu vào, hàm kích hoạt (activation function), thuật toán gradient descent và quá trình lan truyền ngược (backpropagation). Qua từng câu hỏi, người làm quiz có thể nhanh chóng phát hiện những điểm yếu trong việc tính toán các lớp và cập nhật trọng số. Việc nắm vững những yếu tố này giúp giảm lỗi khi xây dựng mô hình và tăng độ tin cậy của các dự đoán thực tế. Do đó, bài đọc này gợi ý nên ôn lại các công cụ toán học và thuật toán trước khi chuyển sang thực hiện mạng neural phức tạp hơn.

Kiểm tra kiến thức về mạng nơron và quá trình dự đoán bằng Python giúp bạn nắm vững các khái niệm cốt lõi từ dot product đến backpropagation.

Decoding cosmic signals with deep learning and Keras

Astroparticle physics sits at the exciting intersection of astrophysics and particle physics and stu...

Q.ANT Launches Open-Source SDK for Photonic Computing

Q.ANT đã ra mắt SDK nguồn mở cho tính toán quang học, cho phép nhà phát triển xây dựng và mô phỏng ứng dụng trước khi tiếp cận phần cứng thực tế. Công cụ này hỗ trợ trên nền tảng FPGA và sử dụng ngôn ngữ Python để tạo lập logic cho các bộ xử lý photon. Việc ra mắt SDK này là bước tiến quan trọng giúp giảm rào cản tiếp cận với công nghệ photonic computing vốn đòi hỏi kiến thức chuyên sâu và chi phí đầu tư cao. Nhà phát triển giờ đây có thể thử nghiệm các thuật toán trên môi trường mô phỏng trước khi triển khai lên phần cứng quang học, giúp tiết kiệm thời gian và nguồn lực.

Đọc bài này giúp lập trình viên nắm bắt cơ hội phát triển ứng dụng trên nền tảng tính toán quang học tiên tiến.