Open models, global networks: How AT&T and GSMA are accelerating innovation with Gemma

Knowledge graph RAG: structured retrieval for AI agents

GraphRAG khắc phục hạn chế của vector search khi không thể truy vết mối quan hệ giữa tài liệu, cho phép các tác nhân AI kết nối bằng chứng đa bước nhờ mô hình hóa dữ liệu dưới dạng thực thể (entities) và liên kết (edges). Redis Iris cung cấp nền tảng tích hợp tìm kiếm vector, cập nhật dữ liệu theo thời gian thực, truy cập công cụ có kiểm soát và bộ nhớ đệm ngữ nghĩa để hỗ trợ kiến trúc truy xuất này.

Lập trình viên cần đọc bài này để hiểu cách xây dựng hệ thống tìm kiếm thông minh cho AI bằng GraphRAG, giúp giải quyết vấn đề truy vấn đa cấp và cập nhật dữ liệu hiệu quả trong ứng dụng agent.

Anchor Detection for RAG: Parallel Detectors, Then One LLM Call at the End

Bài viết giới thiệu quy trình phát hiện mỏ neo (anchor detection) cho hệ thống RAG doanh nghiệp gồm ba giai đoạn: chạy song song các bộ phát hiện từ khóa và nhúng (embedding) trên hai bảng cấu trúc (line_df và toc_df), sau đó sử dụng một lần gọi LLM để xếp hạng ứng viên với lý do minh bạch. Tác giả nhấn mạnh phát hiện từ khóa luôn bắt buộc (miễn phí, xác định), nhúng là tín hiệu song song tùy chọn để khớp từ vựng, còn BM25 kém hiệu quả hơn so với thang điểm đồng xuất hiện tùy chỉnh trong tài liệu doanh nghiệp. Ba mô hình kết hợp bảng chéo cũng được đề cập: "reason-then-match", "section-weighted match" và "hybrid embedding".

Để tối ưu hóa hiệu quả và hiệu suất của hệ thống RAG cho doanh nghiệp, bạn nên đọc bài này để hiểu cách xây dựng một giải pháp anchor detection hiệu quả bằng cách kết hợp các detector song song với một gọi duy nhất đến LLM cuối cùng, giúp giảm chi phí và tăng độ chính xác trong việc chọn lựa thông tin phù hợp.

Context Windows Are Not Memory: What AI Agent Developers Need to Understand

Cửa sổ ngữ cảnh (context window) không phải là bộ nhớ bền vững trong các tác nhân AI, vì mỗi cuộc gọi API đều stateless, buộc mô hình phải đọc lại toàn bộ hội thoại từ đầu, gây tốn kém token, độ trễ và suy giảm sự chú ý. Để đạt được bộ nhớ thực sự, tác nhân AI cần quản lý như một cơ sở dữ liệu, truy vấn state machine ở mỗi lượt và cập nhật thay vì phụ thuộc vào cửa sổ ngữ cảnh.

Lập trình viên phát triển AI agent nên đọc bài này để hiểu cách tối ưu hóa hiệu suất và chi phí bằng cách phân biệt giữa bộ nhớ tạm thời của API và bộ nhớ thực sự, từ đó thiết kế kiến trúc agent hiệu quả hơn.

Using LlamaIndex for RAG in Python – Real Python

Khóa học hướng dẫn xây dựng ứng dụng RAG (Retrieval-Augmented Generation) bằng Python với LlamaIndex, từ thiết lập môi trường, tải tài liệu, tạo và lưu trữ indexes tìm kiếm, cấu hình nhà cung cấp AI (local/remote) đến chạy truy vấn nhằm giảm thiểu ảo giác (hallucination) từ LLM.

Là người phát triển Python muốn xây dựng hệ thống xử lý thông tin tự động với chất lượng cao, LlamaIndex giúp bạn tự động hóa việc kết hợp tìm kiếm và sinh lời từ mô hình ngôn ngữ lớn, giảm thiểu sai sót và tối ưu hóa hiệu suất cho ứng dụng của mình.

Which tokens does a hybrid model predict better?

Researchers at Ai2 compare token-level prediction differences between their 7B transformer (OLMo 3) and hybrid model (OLMo Hybrid), which combines attention and recurrent layers. The study finds hybrid models outperform transformers on meaning-bearing tokens like nouns, verbs, and adjectives, and on tokens requiring contextual tracking such as pronoun resolution. However, the hybrid's advantage nearly vanishes on verbatim repeated text, where attention's ability to directly look up earlier tokens gives transformers the edge. The work also proposes using filtered token losses — scoring only specific token categories — as a more fine-grained evaluation metric to surface architectural differences during pretraining that aggregate loss metrics would miss.

AMD Contributes ONNX Runtime Backend To FFmpeg DNN Filter

An AMD engineer has contributed an ONNX Runtime backend to FFmpeg's DNN (Deep Neural Network) processing filter. The addition enables inferencing across multiple GPU and NPU platforms, including NVIDIA CUDA, Windows DirectML for all major GPU vendors, and AMD Ryzen AI NPU support via the ONNX Runtime VitisAI execution provider. This marks AMD's effort to make the Ryzen AI NPU useful within FFmpeg workflows.

Our Research on Membership Inference Attacks and Preventing Privacy Leaks

JetBrains researchers present EZ MIA (Error Zone Membership Inference Attack), a lightweight method for detecting whether specific data was used to train fine-tuned LLMs. Unlike existing approaches that rely on aggregate sequence loss or expensive shadow model training, EZ MIA focuses on token-level error positions where memorization signals are most concentrated, requiring only two forward passes per sequence. Experiments on GPT-2, GPT-2-XL, and Llama-2 show EZ MIA outperforms baselines like LOSS, Min-K++, and SPV-MIA by up to 9x. The research also confirms that full fine-tuning creates significantly more membership leakage than LoRA-based fine-tuning, though LoRA does not eliminate the risk entirely — especially for larger models.