Build an AI matching engine with Docling, Granite & OpenShift AI

How Netflix Taught an LLM to Recommend Movies So That You Keep Watching

Netflix đã phát triển hệ thống GenRec để tăng thời gian xem phim của người dùng. …

The LLM Blindspot: Why Models Forget What’s in the Middle of Your Prompt

Các mô hình LLM (Large Language Model) thường bỏ qua thông tin nằm ở giữa prompt, hiện …

Building Connected AI Agents: How RAG, MCP, and A2A Form the Modern Google AI Stack

Bối cảnh bài viết phân tích kiến trúc AI hiện đại của Google với ba trụ cột chính là RAG, MCP và A2A. Nguyên nhân kỹ thuật là nhu cầu kết nối các AI agent với nhau và với hệ thống hiện có, giải quyết vấn đề thông tin phân mảnh và thiếu cơ chế chuẩn. Hệ quả là kiến trúc này tạo ra hệ sinh thái AI có khả năng tích hợp cao, cho phép các agent trao đổi dữ liệu và thực thi tác vụ phức tạp. Điều đáng học là cách RAG (Retrieval-Augmented Generation) giúp AI truy cập thông tin trong thời gian thực, MCP (Model Context Protocol) thiết lập giao thức kết nối, và A2A (Agent-to-Agent) tạo framework cho tương tác agent.

Bài viết này cung cấp kiến thức cơ bản về cách xây dựng AI agents kết nối với nhau bằng RAG, MCP và A2A.

RAG Isn’t Magic. Here’s the Journey From a Question to an Answer

Khi làm việc với RAG (Retrieval-Augmented Generation), nhiều người bị ấn tượng bởi khả năng "ma thuật" của nó. Hệ thống hoạt động bằng cách truy vấn các vector database như Pinecone hoặc Milvus để tìm ngữ cảnh liên quan từ kho knowledge base, sau đó đưa dữ liệu này vào prompt của LLM (GPT-3.5 hoặc GPT-4) để tạo câu trả lời. Tuy nhiên, RAG gặp thách thức với vấn đề hallucination - mô hình vẫn có thể tạo ra thông tin sai sự thật dù đã được truy vấn dữ liệu. Bài viết phân tích chi tiết từng bước trong quy trình RAG, giúp lập trình viên hiểu rõ nguyên nhân kỹ thuật đằng sau hiệu ứng "thần kỳ" này để tối ưu hóa hệ thống thực tế.

Bài viết này giải thích chi tiết quy trình hoạt động của RAG, giúp lập trình viên hiểu rõ cơ chế đằng sau công nghệ thay vì chỉ xem nó như phép màu.

The Anatomy of an AI Agent

Một AI agent không chỉ đơn thuần là một LLM với prompt, mà được cấu trúc như một cơ thể người với nhiều bộ phận phối hợp. Đằng sau một AI agent hiệu quả là hệ thống gồm memory modules, planning engines, và tool use capabilities giúp nó hoạt động có tổ chức thay vì chỉ phản hồi thụ động. Việc thiếu các thành phần này khiến nhiều agent hiện nay không thể thực hiện các tác vụ phức tạp hoặc duy trì ngữ cảnh qua nhiều bước tương tác. Các công nghệ như LangChain, AutoGPT và tool-calling APIs đang phát triển để xây dựng các agent toàn diện hơn, nhưng việc hiểu giải phẫu agent giúp chọn đúng framework cho từng use case cụ thể.

Bài này giúp lập trình viên hiểu cấu trúc toàn diện của một AI Agent vượt ra khỏi đơn thuần là LLM, giúp thiết kế và phát triển hệ thống hiệu quả hơn.

Introducing AgentHub: Booking.com Platform for Modular Travel AI Agents

Booking.com đã phát triển AgentHub, nền tảng để xây dựng các AI agent du lịch dạng module. AgentHub sử dụng GPT-4 và fine-tuning RLHF để tạo ra các agent có khả năng lập kế hoạch chuyến đi phức tạp. Nền tảng này cho phép chia nhỏ các agent chuyên biệt, mỗi agent xử lý một khía cạnh cụ thể như đặt chỗ hoặc gợi ý điểm tham quan. Kết quả là hệ thống có thể xử lý các yêu cầu phức tạp với độ chính xác 85%, cao hơn nhiều so với các phương pháp trước đây. Lập trình viên nên đọc bài để hiểu cách triển khai hệ thống multi-agent với orchestration layer hiệu quả.

AgentHub giúp lập trình viên hiểu cách xây dựng và quản lý hệ thống AI agents module hóa cho nền tảng du lịch lớn.

vLLM Support for NVIDIA Vera Rubin NVL72: 7.8x Throughput over GB200 NVL72

vLLM đã được hỗ trợ trên NVIDIA Vera Rubin NVL72 với hỗ trợ mô hình ngay từ ngày đầu tiên, kernel FlashInfer được tối ưu hóa cho Rubin và MoE nhận biết vị trí, mang lại hiệu suất 7.8 lần so với GB200 NVL72. Sự hỗ trợ này cho phép hệ thống xử lý lượng lớn request mỗi giây trên mỗi GPU nhờ vào những cải tiến kỹ thuật cụ thể. Thông qua việc tích hợp Rubin-tuned FlashInfer kernels, vLLM tối ưu hóa được lượng tính toán trên từng đơn vị GPU. Với locality-aware MoE, mô hình có thể phân bổ công việc hiệu quả hơn giữa các GPU. Các lập trình viên làm việc với hệ thống AI lớn nên cân nhắc cập nhật lên phiên bản vLLM mới để tận dụng tối đa hiệu năng phần cứng này.

vLLM trên NVIDIA Vera Rubin NVL72 tăng hiệu suất lên 7.8 lần so với GB200 NVL72 giúp lập trình viên tối ưu hóa ứng dụng AI hiệu quả.