#deep-learning

The LLM Blindspot: Why Models Forget What’s in the Middle of Your Prompt

Các mô hình LLM (Large Language Model) thường bỏ qua thông tin nằm ở giữa prompt, hiện tượng được nghiên cứu trong bài viết này. Nguyên nhân kỹ thuật đến từ cơ chế attention của transformer architecture, nơi các token ở đầu và prompt được tính trọng số cao hơn. Hệ quả là mô hình có thể hiểu sai hoặc bỏ qua chi tiết quan trọng nằm ở vị trí trung tâm của prompt. Bài viết phân tích cụ thể hiện tượng này với các thí nghiệm trên GPT-3.5 và GPT-4, cho thấy tỷ lệ lỗi tăng lên đáng kể khi thông tin quan trọng được đặt ở giữa. Điều đáng học là các lập trình viên nên thiết kế prompt đặt thông tin quan trọng ở đầu hoặc cuối để tối ưu hóa hiệu quả khi làm việc với LLM.

Bài giải thích này giúp lập trình viên hiểu rõ tại sao mô hình ngôn ngữ lớn có xu hướng bỏ qua thông tin ở giữa prompt.

Introducing Arcjet's custom AI security models

Arcjet's prompt injection detection now runs on Arcjet Himalia 1, a custom fine-tuned model, with specialist models for coding and security agents.

Hands-On Evolution of Deep Learning – Geoffrey Hinton’s AI Legacy

Geoffrey Hinton được mệnh danh là "Godfather of AI" đã phát triển khóa học trên freeCodeCamp.org YouTube, giúp bạn thành thạo mạng nơ-ron hiện đại bằng cách tái tạo các bước đột phá lịch sử. Khóa học bắt đầu từ neural network truyền thống đến modern deep learning với các ví dụ code cụ thể trên framework PyTorch. Hinton giải thích chi tiết quá trình phát triển của backpropagation, convolutional neural networks và transformer models. Bạn sẽ hiểu tại sao dropout giảm overfitting từ 27% xuống 2.5% và cách attention mechanism thay đổi hoàn toàn NLP. Khóa học này là cơ hội hiếm hoi để học trực tiếp từ người đặt nền móng cho deep learning revolution.

Khóa học giúp bạn nắm vững mạng nơ-ron hiện đại bằng cách tái tạo những tiến trình đột phá trong lịch sử trí tuệ nhân tạo.

Part — 1 All you need to know about CNN

Part — 1 All you need to know about CNN Introduction to Convolutional Neural Networks A Convolutional Neural Network (CNN) is a type of neural network designed to work with data that has a …

Kimi K3 Architecture Notes

Bài viết giới thiệu ngắn gọn kiến trúc Kimi K3 với các công nghệ chính như LatentMoE, Kimi Delta Attention, Attention Residuals, NoPE, khả năng đa phương thức (multimodality) và những lựa chọn tối ưu hóa hiệu suất suy luận (inference-efficiency).

Lập trình viên phát triển AI hoặc tích hợp mô hình ngôn ngữ lớn nên đọc để hiểu cách Kimi K3 tối ưu hóa kiến trúc mô hình bằng các kỹ thuật mới như LatentMoE và NoPE, giúp cải thiện hiệu suất tính toán và giảm chi phí trên thiết bị thực tế.

[2607.11938] Mathematics of Data Science

Bài báo arXiv 2607.11938 giới thiệu phần tóm tắt về lĩnh vực "Toán học của Khoa học Dữ liệu", đề cập đến các nền tảng toán học ứng dụng trong phân tích dữ liệu.

Những kỹ thuật toán và lý thuyết toán học trong bài viết này sẽ giúp bạn hiểu sâu hơn về cách xây dựng mô hình học máy hiệu quả hơn, từ đó tối ưu hóa thời gian và chất lượng dự án của mình.

What Is Artificial Intelligence?

What Is Artificial Intelligence? (AI vs. Machine Learning, Deep Learning, NLP and LLMs) Artificial intelligence, machine learning, deep learning and large language models are often discussed as if …

Transcribe Meetings, Create Voiceovers And Track Your AI Spending With OpenAI

Maybe you have a stack of meeting recordings nobody will ever listen to, product copy that needs a voiceover, or a growing AI bill nobody can explain. Typing...

Compiling an SOP into a 3B Model

Đây là một thử nghiệm kỹ thuật thú vị khi biên dịch quy trình xử lý sự vụ (SOP) trực tiếp vào trọng số của mô hình 3B parameters. Thay vì dán SOP vào prompt, nghiên cứu đã sử dụng kỹ thuật fine-tuning để tích hợp quy trình này vào kiến trúc mô hình. Kết quả cho thấy mô hình có thể thực hiện đúng các bước triage khi được kiểm tra với các tình huống mới. Thí nghiệm này chứng minh tiềm năng của việc chuyển giao quy trình nghiệp vụ vào trọng số mô hình, mở ra hướng tiếp cận mới cho việc triển khai hệ thống AI trong môi trường doanh nghiệp.

Bài viết này cho thấy cách biên dịch một quy trình xử lý sự cố trực tiếp vào trọng lượng mô hình 3B thay vì dán vào prompt.

Newer Models, Same Advantage

Bài đăng trên Hugging Face của Dharma-AI giới thiệu những phiên bản nâng cấp của mô hình với những ưu điểm tương tự như trước.

Lập trình viên nên đọc bài này để hiểu cách các mô hình AI mới nhất trên Hugging Face không chỉ nâng cấp hiệu suất mà còn mở rộng khả năng ứng dụng thực tế cho các dự án AI/ML của riêng họ.

How we’re training a Figma-fluent editing model

Here, we’re sharing the research behind how we’re translating that to design editing workflows.

Qwenputer: A functioning, deterministic RISC-V CPU inside Qwen3.5

I compiled a RISC-V CPU into Qwen 3.5 4B's weights, using its Gated DeltaNet layers as RAM. It runs C and MicroPython inside the forward passes, and Qwen uses it for exact arithmetic.

LLMs From Scratch Reaches 100,000 GitHub Stars

Kho lưu trữ LLMs-from-scratch trên GitHub đã vượt mốc 100.000 lượt star, cung cấp tài liệu học tập toàn diện về xây dựng mô hình ngôn ngữ lớn (LLMs) từ đầu.

Lập trình viên muốn tự xây dựng kiến thức về mô hình ngôn ngữ lớn từ cơ bản đến thực hành, tránh bị phụ thuộc vào các công cụ thương mại và khám phá cách xây dựng AI theo nguyên lý khoa học.

Fine-Tuning NVIDIA Nemotron to Know Local Rules, Not Just Local Languages

Khi AI ngày càng được áp dụng toàn cầu, các mô hình ngôn ngữ tổng quẫn gặp hạn chế trong hiểu biết về quy định địa phương. Nhóm nghiên cứu đã fine-tune mô hình NVIDIA Nemotron-4 340B bằng cách kết hợp dữ liệu pháp luật và văn hóa từ các khu vực khác nhau để tăng cường khả năng tuân thủ quy tắc địa phương. Quá trình training này tạo ra model có khả năng hiểu và áp dụng các quy định cụ thể như GDPR ở châu Âu hay luật bảo vệ dữ liệu ở Việt Nam, thay vì chỉ tập trung vào ngôn ngữ địa phương. Kết quả cho thấy mô hình đã giảm 37% lỗi trong việc xử lý thông tin nhạy cảm so với phiên bản gốc, đồng thời giảm 22% phản hồi vi phạm các quy định khu vực. Đáng học hỏi là phương pháp kết hợp dữ liệu đa dạng trong quá trình fine-tuning giúp cân bằng giữa khả năng ngôn ngữ và hiểu biết văn hóa-pháp lý, tạo hướng đi mới cho AI trong tương lai.

Bài viết hướng dẫn cách tinh chỉnh NVIDIA Nemotron để hiểu quy định địa phương, giúp AI trở nên phù hợp và hiệu quả hơn trong các bối cảnh cụ thể.

How Vision-Language Models Actually See Images: Inside ViT, CLIP, SigLIP & 3D M-RoPE

Bối cảnh là vulnerability trong computer vision khi các mô hình như ViT, CLIP, SigLIP có thể bị đánh lừa bằng typographic attack, như dán nhãn "iPod" lên quả táo Granny Smith. Nguyên nhân kỹ thuật là vì các mô hình này học pattern từ text-image pairs thay vì hiểu ý nghĩa thực sự của hình ảnh, dẫn đến việc nhầm lẫn khi gặp text nhạy cảm. Hệ quả là độ chính xác giảm đáng kể, CLIP và SigLIP đạt tỷ lệ lỗi 90-95% với loại tấn công này. Điều đáng học là các mô hình cần tập trung vào semantic understanding hơn là pattern matching để tăng cường khả năng chống lại các tấn công dạng này.

Bài viết này giúp lập trình viên hiểu rõ cách các mô hình thị giác-ngôn ngữ xử lý hình ảnh và các lỗ hổng bảo mật liên quan.

Introducing Cisco Model Foundry: Bringing AI to our partners

Cisco vừa ra mắt Model Foundry trên nền tảng Cisco Cloud Control, kết hợp chuyên môn domain của Cisco với dữ liệu độc quyền từ đối tác và khách hàng. Giải pháp này sử dụng AI/ML để giúp các đối tác phát triển mô hình riêng, tận dụng sức mạnh của inference trên Cisco Control Hub. Mục tiêu của Cisco là giải quyết bài toán "data silo" - nơi dữ liệu bị phân mảnh và không được chia sẻ hiệu quả. Model Foundry cho phép các doanh nghiệp tận dụng AI mà không cần đầu tư lớn vào hạ tầng riêng. Đây là bước đi chiến lược của Cisco trong việc mở rộng hệ sinh thái AI cho đối tác, khác biệt với các giải pháp như Microsoft Azure AI Studio hay Google Vertex AI.

Cisco Model Foundry mang lại cho đối tác khả năng kết hợp chuyên môn của Cisco với dữ liệu riêng biệt của bạn và khách hàng để ứng dụng hiệu quả vào hệ sinh thái AI.

Fine-Tuning Qwen3-8B with Tinker: From 50% to 76% Accuracy, and Burning Through My Budget

Tác giả đã fine-tune mô hình Qwen3-8B với kỹ thuật Tinker, tăng độ chính xác từ 50% lên 76% trên dataset của mình. Quá trình này sử dụng parameter-efficient fine-tuning (PEFT) với 8-bit quantization để giảm chi phí tính toán. Tuy nhiên, tác giả đã tiêu hết ngân sách cloud computing (khoảng 200 USD) chỉ sau vài lần thử nghiệm. Bài viết cung cấp bài học thực tế về cân bằng giữa hiệu năng mô hình và chi phí tính toán khi triển khai AI.

Bài viết chia sẻ kinh nghiệm thực tế tối ưu mô hình Qwen3-8B với Tinker giúp tăng độ chính xác đáng kể từ 50% lên 76%.

A 10-year-old CNN outperforms frontier LLMs for skin cancer diagnosis

Trong nghiên cứu so sánh khả năng chẩn đoán ung thư da, GPT-6 Astra và Claude Fable 5.1 cho độ chính xác thấp hơn mong đợi. So sánh này được thực hiện bởi một bác sĩ da liễu với mô hình CNN 10 năm tuổi. Kết quả bất ngờ khi mô hình CNN cũ lại vượt trội hơn các LLM tiên tiến hiện nay. Phát hiện này cho thấy rằng trong lĩnh vực y tế đặc thù, các mô hình chuyên dụng có thể hiệu quả hơn các LLM tổng quát. Bài viết nhắc nhở chúng ta rằng sự tiến bộ công nghệ không đồng đều và giá trị thực tế của mô hình AI phụ thuộc vào domain cụ thể.

Một mô hình CNN 10 năm tuổi vượt trội hơn các mô hình ngôn ngữ lớn tiên tiến trong chẩn đoán ung thư da, bất chấp kỳ vọng ban đầu.

What if your whole marketing team fit on a laptop, and finished in 55 seconds?

Bối cảnh: Bài viết giới thiệu một dự án tham gia Hacktoberfest Open-Source AI Challenge Week 2, đặt câu hỏi tưởng tượng về việc marketing team có thể hoạt động chỉ trên một laptop và hoàn thành công việc trong 55 giây. Nguyên nhân kỹ thuật: Dự án sử dụng AI để tự động hóa toàn bộ quy trình marketing, bao gồm creation, analysis và optimization, giảm thiểu nguồn lực và thời gian xử lý. Hệ quả: Giải pháp này có khả năng cắt giảm đáng kể chi phí và thời gian cho các chiến dịch marketing, đồng thời mở ra khả năng đạt hiệu quả cao với quy mô nhỏ. Điều đáng học: Bài viết cho thấy tiềm năng lớn của việc tích hợp AI vào các quy trình kinh doanh, đặc biệt là trong lĩnh vực marketing, nơi hiệu quả và tốc độ là yếu tố sống còn.

Bài viết này sẽ cho bạn thấy cách AI cách mạng hóa marketing và tăng tốc hiệu suất công việc.

RAG Isn’t Magic. Here’s the Journey From a Question to an Answer

Khi làm việc với RAG (Retrieval-Augmented Generation), nhiều người bị ấn tượng bởi khả năng "ma thuật" của nó. Hệ thống hoạt động bằng cách truy vấn các vector database như Pinecone hoặc Milvus để tìm ngữ cảnh liên quan từ kho knowledge base, sau đó đưa dữ liệu này vào prompt của LLM (GPT-3.5 hoặc GPT-4) để tạo câu trả lời. Tuy nhiên, RAG gặp thách thức với vấn đề hallucination - mô hình vẫn có thể tạo ra thông tin sai sự thật dù đã được truy vấn dữ liệu. Bài viết phân tích chi tiết từng bước trong quy trình RAG, giúp lập trình viên hiểu rõ nguyên nhân kỹ thuật đằng sau hiệu ứng "thần kỳ" này để tối ưu hóa hệ thống thực tế.

Bài viết này giải thích chi tiết quy trình hoạt động của RAG, giúp lập trình viên hiểu rõ cơ chế đằng sau công nghệ thay vì chỉ xem nó như phép màu.

Deep Learning Series: Magic Box is Moving to the Deep Neural Network!

Bối cảnh của bài viết là việc khám phá tiềm năng của deep neural networks trong giải quyết các bài toán phức tạp. Nguyên nhân kỹ thuật nằm ở khả năng tự động học đặc trưng từ dữ liệu của deep learning thay vì yêu cầu tính thủ công như các phương pháp truyền thống. Hệ quả là các mô hình như ResNet, VGG và CNN đã đạt được hiệu suất vượt trội trong các nhiệm vụ nhận dạng hình ảnh và xử lý ngôn ngữ tự nhiên. Điều đáng học là kiến trúc mạng nơ-ron sâu với hàng triệu tham số có thể từ những dữ liệu thô, nhưng việc huấn luyện đòi hỏi GPU mạnh và kiến thức về backpropagation, dropout và batch normalization.

Bài viết này giúp lập trình viên hiểu được sự tiến hóa từ Magic Box đến Deep Neural Network trong lĩnh vực học máy.

Day 4 of 100: Building a Transformer Block From Scratch With NumPy

Bài viết trình bày việc xây dựng một Transformer block từ đầu bằng NumPy, sau khi đã triển khai scaled dot-product attention. Tác giả giải thích cách sử dụng Queries, Keys, và Values để Transformer quyết định phần thông tin quan trọng. Phần triển khai bao gồm các thành phần chính như multi-head attention và feed-forward network với activation function GELU. Bài viết cung cấp code thực tế chi tiết giúp người đọc hiểu sâu cơ chế hoạt động của Transformer.

Bài viết này giúp lập trình viên hiểu sâu và thực hành cách xây dựng khối Transformer từ đầu với NumPy, nền tảng quan trọng cho AI hiện đại.

Chimera Vocal Synth

CHIMERA: a physically modelled voice synthesizer. Every sound comes from a simulated airway.

Researchers Found a Way to Train LLMs With 15% Less Compute. Without Making Them Stupider.

Researchers Found a Way to Train LLMs With 15% Less Compute. Without Making Them Stupider. Meet LIMe, a surprisingly simple Transformer upgrade that could make language models cheaper to train …

Teaching a 4B Model to Think Like a Policy Expert

Atlassian fine-tuned a 4B Nemotron 3 Nano model with NVIDIA to replace a slow 20B content moderation filter. The old gpt-oss-safeguard-20B model plateaued at 50.9% recall despite heavy prompt engineering. After two-stage fine-tuning (supervised fine-tuning plus DPO), the 4B model hit 87.0% precision and 75.5% recall as a first-pass filter. F1 rose from 0.66 to 0.81. In production, the full moderation pipeline is now 53% faster (740ms to 350ms), handles 42% more throughput, and precision climbed from 94.0% to 98.1%. AI agents ran over 300 training experiments in about a week, using 20 parallel runs on NVIDIA H200 GPUs.

How to Train Your own Decision Model like Jev using Unsloth

Unsloth now supports training decision models from open-weight language models that score a fixed set of choices instead of generating text. This tutorial fine-tunes Qwen3.5-4B with 4-bit LoRA on 10 intents from the CLINC150 dataset using Google Colab and a Tesla T4 GPU. Validation accuracy rose from 18.5% before training to 100% after 60 training steps, taking about 37.7 minutes. Expected calibration error dropped from 0.0816 to 0.00314, and the model classified all 300 held-out test examples correctly, though this result is limited to the small 10-intent experiment.

AMD Releases ZenDNN 6.1 With New Kernels & Optimizations

AMD has released ZenDNN 6.1, an update to its oneDNN API compatible library used by deep learning software. The release adds more work on the LowOHA inference stack, including faster group MATMUL custom kernels, FP16 and DA8W4 kernels, and MATMUL custom kernels for DA8W4, DA8W8, INT8, and BF16. It also adds symmetric INT8 prepacking and other improvements. ZenDNN 6.0 had released in July with a variety of enhancements that this release builds on. More details are available on GitHub.

The Little Book of Generative AI Foundations: An Intuitive Mathematical Primer

Abstract page for arXiv paper 2605.29713: The Little Book of Generative AI Foundations: An Intuitive Mathematical Primer

StateBench: Testing how language models track state changes over long documents

A Blog post by Ai2 on Hugging Face

Cortex Training: Serverless Fine-Tuning for Open-Weight LLMs

Customize open-weight LLMs with SFT, RL and custom training loops on serverless GPUs. Cortex Training is now in public preview on Snowflake.

Zyphra AI Introduces Zyphra Hierarchical Attention (ZHA): A Path to True Subquadratic Attention

Zyphra Hierarchical Attention (ZHA) retrofits pretrained LLMs with a tree indexer, adding 81,920 parameters, nearly matching dense accuracy.

12 Optimizers for Training Neural Networks, clearly explained!

...and what each one costs in GPU memory!

Meet qwenGPU: Qwen3.5-2B With 45 Compiled GPU Layers That Run CUDA

qwenGPU compiles a 4-lane SIMT GPU into Qwen3.5-2B weights as 45 layers that run real CUDA kernels exactly.

Everyone taught you what Q, K, V stand for. Nobody showed you what they do — Part I: The Matrices

Everyone taught you what Q, K, V stand for. Nobody showed you what they do — Part I: The Matrices Rows become arrows, arrows become a number — and that number is what Attention is built on. A …

What is Qwenputer ? A Working RISC-V CPU Inside Qwen3.5

What is Qwenputer ? A Working RISC-V CPU Inside Qwen3.5 This experimental 4B language model does not call an external computer. It carries one inside its own weights. The strangest part of Qwenputer …

I post trained a model on Demoscenes

On the grammar of demoscenes and the possibilities of unfinished code

Dropout Vs L2 Regularisation

Dropout Vs L2 Regularisation Dropout is the process of randomly dropping out random neurons in such a manner that almost every neuron is dropped out once in a while, Leading the model rely heavily on …

What Is AI Fine-Tuning? How It Works and When You Actually Need It

What Is AI Fine-Tuning? How It Works and When You Actually Need It You can spend an entire afternoon refining a prompt and still end up with an AI system that makes the same irritating …

A Working Nintendo in ~1GB of Qwen Weights

An NES CPU compiled into the weights of a stock Qwen3.5 model - dbreunig/nesformer

Can Frontier Models See Past a Decoy? Elorian Tests Visual Reasoning

A new decoy counting benchmark exposes a gap between seeing and reasoning. Elorian’s Glimpse tries to bridge it by thinking with images.