It’s The Speech Synthesiser You Wanted, For The Computer You Had

Machine Learning Mastery1 Hot10 min3 d agoAI

Fine-Tuning Agentic AI: A Practical Guide

Bài hướng dẫn thực tế xem việc tinh chỉnh agentic AI như bốn công cụ liên kết thay vì một bước đơn lẻ: xây dựng bộ dữ liệu huấn luyện tool-calling được xác thực, áp dụng QLoRA cho training hiệu quả về mặt tham số, điều chỉnh hyperparameter runtime như temperature và retry policy, cùng sử dụng Direct Preference Optimization (DPO) để dạy ra quyết định mà SFT không thể biểu đạt. Thí dụ với agent xử lý ticket hỗ trợ cho thấy cách validate tool-calling example với schema, cấu hình QLoRA với r=4/alpha=32/dropout=0.05, thêm temperature-0 retry tăng tỷ lệ thành công lên 98.7%. Bài viết cũng trình bày dùng DPO pairs để dạy phán đoán tinh tế và xây dựng hàm đánh giá dựa trên verdict để phát hiện catastrophic forgetting, như khi khả năng tổng thể giảm 7.2 điểm dù độ chính xác tool-call tăng từ 61% lên 97%.

Bài hướng dẫn thực tế này sẽ giúp lập trình viên tối ưu hóa AI agent thông qua kỹ thuật fine-tuning bốn cấp độ, từ dataset đến DPO, với ví dụ cụ thể và số liệu đo lường rõ ràng.

#llm #deep-learning #agentic-ai Source

Sebastian Raschka49 Hot3 min1 mo agoAI

Kimi K3 Architecture Notes

Bài viết giới thiệu ngắn gọn kiến trúc Kimi K3 với các công nghệ chính như LatentMoE, Kimi Delta Attention, Attention Residuals, NoPE, khả năng đa phương thức (multimodality) và những lựa chọn tối ưu hóa hiệu suất suy luận (inference-efficiency).

Lập trình viên phát triển AI hoặc tích hợp mô hình ngôn ngữ lớn nên đọc để hiểu cách Kimi K3 tối ưu hóa kiến trúc mô hình bằng các kỹ thuật mới như LatentMoE và NoPE, giúp cải thiện hiệu suất tính toán và giảm chi phí trên thiết bị thực tế.

#llm #deep-learning #mixture-of-experts Source

Hacker News55 Hot2 min1 mo agoAI

[2607.11938] Mathematics of Data Science

Bài báo arXiv 2607.11938 giới thiệu phần tóm tắt về lĩnh vực "Toán học của Khoa học Dữ liệu", đề cập đến các nền tảng toán học ứng dụng trong phân tích dữ liệu.

Những kỹ thuật toán và lý thuyết toán học trong bài viết này sẽ giúp bạn hiểu sâu hơn về cách xây dựng mô hình học máy hiệu quả hơn, từ đó tối ưu hóa thời gian và chất lượng dự án của mình.

#machine-learning #data-science #deep-learning Source

Sebastian Raschka23 Hot2 min1 mo agoAI

LLMs From Scratch Reaches 100,000 GitHub Stars

Kho lưu trữ LLMs-from-scratch trên GitHub đã vượt mốc 100.000 lượt star, cung cấp tài liệu học tập toàn diện về xây dựng mô hình ngôn ngữ lớn (LLMs) từ đầu.

Lập trình viên muốn tự xây dựng kiến thức về mô hình ngôn ngữ lớn từ cơ bản đến thực hành, tránh bị phụ thuộc vào các công cụ thương mại và khám phá cách xây dựng AI theo nguyên lý khoa học.

#llm #deep-learning Source

Hugging Face36 Hot12 min2 mo agoAI

Newer Models, Same Advantage

Bài đăng trên Hugging Face của Dharma-AI giới thiệu những phiên bản nâng cấp của mô hình với những ưu điểm tương tự như trước.

Lập trình viên nên đọc bài này để hiểu cách các mô hình AI mới nhất trên Hugging Face không chỉ nâng cấp hiệu suất mà còn mở rộng khả năng ứng dụng thực tế cho các dự án AI/ML của riêng họ.

#machine-learning #deep-learning Source

Medium2 Hot6 min10 d agoAI

What Actually Happens Inside the Transformer MLP Layer?

Trong các mô hình ngôn ngữ lớn, sự chú ý thường tập trung vào cơ chế self-attention, trong khi lớp MLP (feed-forward network) của mỗi block transformer nhận ít phân tích hơn. MLP gồm hai biến đổi tuyến tính với một hàm kích hoạt phi tuyến (thường là GELU), mở rộng chiều từ mô hình dimension d lên trung gian thường là 4d (ví dụ 768→3072 trong BERT-base hoặc 4096→12288 trong GPT-3) rồi giảm lại về d. Vì hoạt động trên mỗi token độc lập và chứa phần lớn tham số (khoảng 2/3 tổng) và FLOPs, lớp MLP quyết định sức mạnh biểu diễn và cũng là chokepoint chính của tốc độ suy luận. Hiểu rõ cách MLP hoạt động cho thấy các kỹ thuật như giảm rank, quantization activation hoặc thay thế bằng Mixture-of-Experts (MoE) có thể giảm đáng kể chi phí tính toán mà không suy giảm hiệu suất. Vì vậy, khi đánh giá hoặc tối ưu hóa transformer nên tập trung vào lớp này cũng như self-attention.

Bài này giải thích chi tiết cơ chế hoạt động của lớp MLP trong Transformer, thành phần thường bị bỏ quên nhưng quan trọng không kém cơ chế Self-Attention.

#machine-learning #llm #deep-learning Source

MIT News1 Hot6 min11 d agoAI

System helps humans predict when self-driving cars will make mistakes

Bối cảnh: Xe tự hành (autonomous vehicle) thường khó dự đoán trong các tình huống bất thường. Nguyên nhân kỹ thuật: CW-Net là kỹ thuật giải thích hành vi xe bằng cách sử dụng khái niệm dễ hiểu với con người. Hệ quả: Nghiên cứu cho thấy những giải thích này giúp tài xế dự đoán hành vi xe trong các tình huống bất ngờ. Điều đáng học: Việc kết hợp AI giải thích (explainable AI) với giao tiếp người-máy có thể cải thiện an toàn giao thông tự động. Công nghệ này có thể ứng dụng trong các hệ thống lái xe bán tự động (autonomous vehicle) để giảm sự mất tin tưởng của người dùng.

CW-Net giúp con người hiểu và dự đoán hành vi của xe tự lái trong các tình huống bất ngờ.

#deep-learning #mit #ai-safety Source

freeCodeCamp1 Hot18 min17 d agoAI

From Mixtral to Kimi K3: How Mixture-of-Experts Models Evolved

MoE models bắt đầu với một số lượng chuyên gia hạn chế, ví dụ Mixtral sử dụng 8 chuyên gia mỗi lớp. Để đạt hiệu suất cao hơn, các nhà nghiên cứu đã mở rộng số chuyên gia lên gần 900 mỗi lớp trong Kimi K3, đồng thời phải giải quyết vấn đề tính sparse và độ ổn định trong quá trình huấn luyện. Các cơ chế nén như cắt bớt chuyên gia ít dùng, lượng tử hóa và phân tích hạng thấp kết hợp với các kỹ thuật ổn định như loss phụ trợ, hệ số capacity và dropout trên router cho phép mô hình vẫn khả thi để huấn luyện mà không giảm hiệu suất. Điều đáng học là khi mở rộng MoE, việc cân bằng tải giữa các chuyên gia và duy trì độ ổn định của router là then chốt để tránh hiện tượng chuyên gia chết hoặc quá tải. Điều này cho thấy, ngoài việc tăng số chuyên gia, đầu tư vào các kỹ thuật nén và ổn định là yếu tố quyết định sự thành công của các mô hình MoE hiện đại.

Bài viết này giúp lập trình viên hiểu cách mô hình Mixture-of-Experts phát triển từ vài chuyên gia đến gần 900 chuyên gia mỗi lớp và các cơ chế nén ổn định.

#llm #deep-learning #gpu Source

It’s The Speech Synthesiser You Wanted, For The Computer You Had

Recommended for you

Bình luận

Fine-Tuning Agentic AI: A Practical Guide

Kimi K3 Architecture Notes

[2607.11938] Mathematics of Data Science

LLMs From Scratch Reaches 100,000 GitHub Stars

Newer Models, Same Advantage

What Actually Happens Inside the Transformer MLP Layer?

System helps humans predict when self-driving cars will make mistakes

From Mixtral to Kimi K3: How Mixture-of-Experts Models Evolved

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads