Backpropagation Explained for Beginners (Part 3): How Backpropagation Really Works

Sebastian Raschka49 Hot3 phút15 ngày trướcAI

Kimi K3 Architecture Notes

Bài viết giới thiệu ngắn gọn kiến trúc Kimi K3 với các công nghệ chính như LatentMoE, Kimi Delta Attention, Attention Residuals, NoPE, khả năng đa phương thức (multimodality) và những lựa chọn tối ưu hóa hiệu suất suy luận (inference-efficiency).

Lập trình viên phát triển AI hoặc tích hợp mô hình ngôn ngữ lớn nên đọc để hiểu cách Kimi K3 tối ưu hóa kiến trúc mô hình bằng các kỹ thuật mới như LatentMoE và NoPE, giúp cải thiện hiệu suất tính toán và giảm chi phí trên thiết bị thực tế.

#llm #deep-learning #mixture-of-experts Nguồn

Machine Learning Mastery1 Hot5 phút2 ngày trướcAI

Prompt Caching vs. Fine-Tuning: A Cost and Latency Decision Framework

Prompt caching giảm chi phí API và độ trễ bằng cách lưu trạng thái KV hoặc đầu ra thô, tối ưu cho các yêu cầu lặp lại; fine-tuning (như LoRA) nhúng kiến thức miền vào trọng số mô hình, giảm kích thước ngữ cảnh. Nên dùng caching cho prompt hệ thống tĩnh, RAG, truy vấn lặp; fine-tuning cho định dạng đầu ra, cá nhân hóa persona. Kiến trúc lai (fine-tuning mô hình nhỏ + prompt caching) giúp tiết kiệm chi phí và tăng độ bền.

Lập trình viên nên đọc bài này để hiểu cách tối ưu hóa chi phí và tốc độ phản hồi trong hệ thống AI agent bằng cách lựa chọn giữa lưu trữ cache prompt (giảm tái tính toán) và điều chỉnh mô hình (cải thiện hiệu suất dài hạn) theo từng trường hợp cụ thể.

#llm #deep-learning #agentic-ai Nguồn

Hacker News55 Hot2 phút26 ngày trướcAI

[2607.11938] Mathematics of Data Science

Bài báo arXiv 2607.11938 giới thiệu phần tóm tắt về lĩnh vực "Toán học của Khoa học Dữ liệu", đề cập đến các nền tảng toán học ứng dụng trong phân tích dữ liệu.

Những kỹ thuật toán và lý thuyết toán học trong bài viết này sẽ giúp bạn hiểu sâu hơn về cách xây dựng mô hình học máy hiệu quả hơn, từ đó tối ưu hóa thời gian và chất lượng dự án của mình.

#machine-learning #data-science #deep-learning Nguồn

MIT News48 Hot6 phút28 ngày trướcAI

How visual learning happens in the brain

Nghiên cứu mới chỉ ra cách những thay đổi trong xử lý hình ảnh hỗ trợ khả năng phân biệt các loại đồ vật mới. Bằng cách mô hình hóa những thay đổi này trong mạng nơ-ron nhân tạo, các nhà nghiên cứu hy vọng dự đoán chính xác hơn cách đào tạo định hình nhận thức, từ đó cải thiện chiến lược giáo dục cho nhiều đối tượng học viên.

Lập trình viên nên đọc bài này để hiểu cách nhận thức hình ảnh được tái cấu trúc trong não giúp cải thiện khả năng phân biệt đối tượng mới, từ đó ứng dụng kiến thức về xử lý dữ liệu và học máy để thiết kế hệ thống AI hiệu quả hơn trong việc phân tích và học từ dữ liệu hình ảnh.

#machine-learning #neural-networks Nguồn

Hugging Face36 Hot12 phút27 ngày trướcAI

Newer Models, Same Advantage

Bài đăng trên Hugging Face của Dharma-AI giới thiệu những phiên bản nâng cấp của mô hình với những ưu điểm tương tự như trước.

Lập trình viên nên đọc bài này để hiểu cách các mô hình AI mới nhất trên Hugging Face không chỉ nâng cấp hiệu suất mà còn mở rộng khả năng ứng dụng thực tế cho các dự án AI/ML của riêng họ.

#machine-learning #deep-learning Nguồn

Sebastian Raschka2 Hot2 phút5 ngày trướcAI

LLMs From Scratch Reaches 100,000 GitHub Stars

Kho lưu trữ LLMs-from-scratch trên GitHub đã vượt mốc 100.000 lượt star, cung cấp tài liệu học tập toàn diện về xây dựng mô hình ngôn ngữ lớn (LLMs) từ đầu.

Lập trình viên muốn tự xây dựng kiến thức về mô hình ngôn ngữ lớn từ cơ bản đến thực hành, tránh bị phụ thuộc vào các công cụ thương mại và khám phá cách xây dựng AI theo nguyên lý khoa học.

#llm #deep-learning Nguồn

Towards Data Science1 Hot29 phút4 ngày trướcAI

Before Q, K, and V: Reconstructing the Transformer

Bài viết tái cấu trúc kiến trúc Transformer từ những nguyên lý cơ bản, giải thích sự ra đời tất yếu của Q, K, V thay vì là lựa chọn ngẫu nhiên. Quá trình này xuất phát từ hạn chế của RNN (bộ nhớ cố định, không xử lý song song), dần hình thành attention, trọng số động, cơ chế dot-product, ma trận projection, multi-head attention và khối MLP thông qua các bước logic. Transformer gặp trở ngại về độ phức tạp tính toán bậc hai và phụ thuộc chặt chẽ vào cấu trúc bộ nhớ GPU, dự báo sẽ bị thay thế bởi các mô hình tiên tiến hơn.

Là người phát triển AI, bạn nên đọc bài này để hiểu rõ cách Transformer không phải là một kiến trúc ngẫu nhiên mà được thiết kế từ những giới hạn cơ bản của RNN, giúp bạn xây dựng các giải pháp hiệu quả hơn trong tương lai khi cần tối ưu hóa mô hình cho các vấn đề quy mô lớn.

#llm #deep-learning #neural-networks Nguồn

sean goedecke14 Hot11 phút25 ngày trướcAI

Overtraining as the path to human-like AI

Bài viết giới thiệu ý tưởng của Gwern về việc sử dụng "overtraining" (huấn luyện quá mức) để đạt được khả năng tổng quát hóa giống con người trong các mô hình ngôn ngữ lớn (LLMs). Thay vì huấn luyện mô hình nhỏ trên dữ liệu khổng lồ như hiện nay, phương pháp đề xuất là huấn luyện một mô hình siêu lớn (~100 nghìn tỷ tham số) trên tập dữ liệu hạn chế, nhằm buộc mô hình khám phá các quy luật sâu thay vì ghi nhớ.

Lập trình viên nên đọc bài này để hiểu cách các mô hình AI hiện đại có thể bị giới hạn bởi kỹ thuật huấn luyện truyền thống, và tìm kiếm những giải pháp đột phá như grokking—một phương pháp có thể giúp xây dựng các mô hình mạnh mẽ hơn, vượt qua giới hạn của việc chỉ dựa vào dữ liệu lớn mà không tìm ra những quy luật sâu sắc.

#machine-learning #llm #neural-networks Nguồn

Backpropagation Explained for Beginners (Part 3): How Backpropagation Really Works

Đề xuất cho bạn

Kimi K3 Architecture Notes

Prompt Caching vs. Fine-Tuning: A Cost and Latency Decision Framework

[2607.11938] Mathematics of Data Science

How visual learning happens in the brain

Newer Models, Same Advantage

LLMs From Scratch Reaches 100,000 GitHub Stars

Before Q, K, and V: Reconstructing the Transformer

Overtraining as the path to human-like AI

Một tài khoản, cả hệ sinh thái

8syncdev.com

Khóa học

Luyện code

IELTS

ZUS — IDE AI

mind0

AcoLeads