What Is Transfer Learning?

Medium2 Hot6 min1 d agoAI

What Actually Happens Inside the Transformer MLP Layer?

Trong các mô hình ngôn ngữ lớn, sự chú ý thường tập trung vào cơ chế self-attention, trong khi lớp MLP (feed-forward network) của mỗi block transformer nhận ít phân tích hơn. MLP gồm hai biến đổi tuyến tính với một hàm kích hoạt phi tuyến (thường là GELU), mở rộng chiều từ mô hình dimension d lên trung gian thường là 4d (ví dụ 768→3072 trong BERT-base hoặc 4096→12288 trong GPT-3) rồi giảm lại về d. Vì hoạt động trên mỗi token độc lập và chứa phần lớn tham số (khoảng 2/3 tổng) và FLOPs, lớp MLP quyết định sức mạnh biểu diễn và cũng là chokepoint chính của tốc độ suy luận. Hiểu rõ cách MLP hoạt động cho thấy các kỹ thuật như giảm rank, quantization activation hoặc thay thế bằng Mixture-of-Experts (MoE) có thể giảm đáng kể chi phí tính toán mà không suy giảm hiệu suất. Vì vậy, khi đánh giá hoặc tối ưu hóa transformer nên tập trung vào lớp này cũng như self-attention.

Bài này giải thích chi tiết cơ chế hoạt động của lớp MLP trong Transformer, thành phần thường bị bỏ quên nhưng quan trọng không kém cơ chế Self-Attention.

#machine-learning #llm #deep-learning Source

Hugging Face18 Hot8 min11 d agoAI

Quantization-Aware Healing: a compressed, 4-bit model that outperforms its full-precision original

Bài viết giới thiệu phương pháp Quantization‑Aware Healing (QAH) được phát triển bởi Multiverse Computing để nén mô hình ngôn ngữ lớn xuống 4‑bit mà không làm giảm hiệu suất. QAH kết hợp quantization‑aware training với một bước healing sau huấn luyện, trong đó một mạng phụ nhỏ được học để bù lại sai số lượng tử hóa gây ra. Kết quả cho thấy mô hình 4‑bit sau healing đạt được mức perplexity tương đương, và trong một số trường hợp thậm chí tốt hơn so với phiên bản full‑precision (32‑bit) ban đầu. Việc này đồng thời giảm kích thước bộ nhớ cần thiết xuống khoảng 1⁄8 (≈87,5%) và tăng tốc độ suy luận trên phần cứng hỗ trợ tính toán nguyên số. Điều đáng học là việc đầu tư vào quá trình healing có thể bù lại phần lớn tổn thất từ quantization, cho phép triển khai mô hình mạnh mẽ trên môi trường tài nguyên hạn chế mà không hy sinh chất lượng.

Bài viết này giúp lập trình viên hiểu cách tạo mô hình lượng hóa 4-bit hiệu suất hơn cả mô hình full-precision gốc.

#machine-learning #data-science #llm Source

MIT News1 Hot6 min3 d agoAI

System helps humans predict when self-driving cars will make mistakes

Bối cảnh: Xe tự hành (autonomous vehicle) thường khó dự đoán trong các tình huống bất thường. Nguyên nhân kỹ thuật: CW-Net là kỹ thuật giải thích hành vi xe bằng cách sử dụng khái niệm dễ hiểu với con người. Hệ quả: Nghiên cứu cho thấy những giải thích này giúp tài xế dự đoán hành vi xe trong các tình huống bất ngờ. Điều đáng học: Việc kết hợp AI giải thích (explainable AI) với giao tiếp người-máy có thể cải thiện an toàn giao thông tự động. Công nghệ này có thể ứng dụng trong các hệ thống lái xe bán tự động (autonomous vehicle) để giảm sự mất tin tưởng của người dùng.

CW-Net giúp con người hiểu và dự đoán hành vi của xe tự lái trong các tình huống bất ngờ.

#deep-learning #mit #ai-safety Source

Quesma1 Hot19 min3 d agoAI

Mushroom hunting with LLMs: what can go wrong?

Bài benchmark đánh giá 4 model LLM (GPT-5.6-Sol, Gemini 3.7 Flash, GLM-5.3-Flash, Claude Fable 5.1) trong nhiệm vụ nhận diện nấm độc/ăn được trên dataset FungiTastic. Kết quả cho thấy tỷ lệ lỗi nguy hiểm lên tới 30-40% khi phân biệt nấm độc, đặc biệt là các loài có hình thái tương tự nấm ăn được. Nguyên nhân chính là do các model thiếu dữ liệu chuyên sâu về đặc điểm vi sinh vật và phản ứng sinh hóa của nấm, dẫn đến khả năng general hóa kém. Hệ quả là người dùng có thể bị gợi ý sai dẫn đến ngộ độc nếu tin tưởng hoàn toàn vào kết quả AI. Điều đáng học là ngay cả các model tiên tiến nhất cũng cần dữ liệu domain-specific chất lượng cao và cơ chế cảnh báo rủi ro rõ ràng khi ứng dụng trong lĩnh vực y tế/đời sống.

Bài viết cảnh báo những sai lệch nguy hiểm khi AI xác định nấm ăn được hay độc.

#llm #computer-vision #google-gemini Source

Dev Genius6 Hot11 min13 d agoAI

Why 2031 Might Be the Last Year Humans Do AI Research

Trong thập kỷ qua, tốc độ tiến bộ của AI bị hạn chế bởi một yếu tố duy nhất – não người. Bài viết cho rằng các bước như thiết kế mô hình, điều chỉnh siêu tham số và phân tích kết quả vẫn phụ thuộc vào sự can thiệp thủ công của nhà nghiên cứu, khiến vòng lặp đổi mới chậm lại. Nếu xu hướng này tiếp tục, vào năm 2031 các hệ thống AI có thể đạt đủ khả năng tự động hóa toàn bộ chu trình nghiên cứu – từ giả thuyết đến triển khai – làm giảm nhu cầu về con người trong lĩnh vực này. Điều đáng học là các nhà phát triển cần đầu tư sớm vào công cụ tự động hóa nghiên cứu như neural architecture search và meta‑learning để không bị bỏ sau khi AI vượt qua giới hạn con người. Vì vậy, đọc bài gốc sẽ giúp lập trình viên nhìn rõ mốc thời gian tiềm năng và chuẩn bị kỹ thuật để thích ứng với thời đại AI nghiên cứu chính nó.

Bài này tiết lộ lý do thuyết phục tại sao nghiên cứu AI có thể sớm trở thành lĩnh vực duy nhất do chính trí tuệ nhân tạo tự tiến hóa.

#ai #machine-learning #openai Source

Sebastian Raschka49 Hot3 min1 mo agoAI

Kimi K3 Architecture Notes

Bài viết giới thiệu ngắn gọn kiến trúc Kimi K3 với các công nghệ chính như LatentMoE, Kimi Delta Attention, Attention Residuals, NoPE, khả năng đa phương thức (multimodality) và những lựa chọn tối ưu hóa hiệu suất suy luận (inference-efficiency).

Lập trình viên phát triển AI hoặc tích hợp mô hình ngôn ngữ lớn nên đọc để hiểu cách Kimi K3 tối ưu hóa kiến trúc mô hình bằng các kỹ thuật mới như LatentMoE và NoPE, giúp cải thiện hiệu suất tính toán và giảm chi phí trên thiết bị thực tế.

#llm #deep-learning #mixture-of-experts Source

Ars Technica22 Hot2 min28 d agoAI

DeepMind’s hurricane breakthrough has surprised weather scientists

DeepMind giới thiệu mô hình WeatherNext mã nguồn mở, có thể dự báo bão chính xác ngay cả khi sử dụng dữ liệu thời tiết độ phân giải thấp, gây bất ngờ cho giới khoa học khí tượng.

Lập trình viên nên đọc bài này để khám phá cách AI có thể tái định nghĩa cách xử lý dữ liệu thời tiết với kiến thức về kiến trúc mô hình open-source và cách tối ưu hóa hiệu suất tính toán từ các dữ liệu thô.

#ai #machine-learning Source

Hacker News55 Hot2 min1 mo agoAI

[2607.11938] Mathematics of Data Science

Bài báo arXiv 2607.11938 giới thiệu phần tóm tắt về lĩnh vực "Toán học của Khoa học Dữ liệu", đề cập đến các nền tảng toán học ứng dụng trong phân tích dữ liệu.

Những kỹ thuật toán và lý thuyết toán học trong bài viết này sẽ giúp bạn hiểu sâu hơn về cách xây dựng mô hình học máy hiệu quả hơn, từ đó tối ưu hóa thời gian và chất lượng dự án của mình.

#machine-learning #data-science #deep-learning Source

What Is Transfer Learning?

What do you remember?

Recommended for you

Bình luận

What Actually Happens Inside the Transformer MLP Layer?

Quantization-Aware Healing: a compressed, 4-bit model that outperforms its full-precision original

System helps humans predict when self-driving cars will make mistakes

Mushroom hunting with LLMs: what can go wrong?

Why 2031 Might Be the Last Year Humans Do AI Research

Kimi K3 Architecture Notes

DeepMind’s hurricane breakthrough has surprised weather scientists

[2607.11938] Mathematics of Data Science

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads