#rag

Letting an LLM Pick the Right RAG Page: The Arbiter Pattern at the End of Retrieval

Bài viết giới thiệu "Arbiter Pattern" trong RAG, nơi LLM đóng vai trọng tài bằng cách phân loại và đánh giá các nguồn tài liệu ứng viên dựa trên cấu trúc dữ liệu đầu vào, thay thế phương pháp kết hợp điểm số truyền thống. Tác giả nhấn mạnh embeddings nên là phương pháp cuối cùng trong tài liệu doanh nghiệp do hạn chế trong việc xác định sự vắng mặt của thông tin, trong khi keyword retrieval cung cấp khả năng phủ định chắc chắn. Ngoài ra, bài viết đề cập đến bộ chọn phương pháp truy xuất theo loại câu hỏi, lược đồ JSON thống nhất cho kết quả truy xuất nhằm đảm bảo khả năng kiểm tra, và tầm quan trọng của xử lý "không tìm thấy" đáng tin cậy trong ngữ cảnh tuân thủ quy định.

Một lập trình viên cần đọc bài này để tìm hiểu cách tối ưu hóa hệ thống RAG bằng cách áp dụng Arbiter Pattern—một giải pháp linh hoạt hơn fusion score, giúp xử lý các trường hợp phức tạp trong việc lựa chọn kết quả phù hợp từ nhiều nguồn thông tin khác nhau.

Knowledge graph RAG: structured retrieval for AI agents

GraphRAG khắc phục hạn chế của vector search khi không thể truy vết mối quan hệ giữa tài liệu, cho phép các tác nhân AI kết nối bằng chứng đa bước nhờ mô hình hóa dữ liệu dưới dạng thực thể (entities) và liên kết (edges). Redis Iris cung cấp nền tảng tích hợp tìm kiếm vector, cập nhật dữ liệu theo thời gian thực, truy cập công cụ có kiểm soát và bộ nhớ đệm ngữ nghĩa để hỗ trợ kiến trúc truy xuất này.

Lập trình viên cần đọc bài này để hiểu cách xây dựng hệ thống tìm kiếm thông minh cho AI bằng GraphRAG, giúp giải quyết vấn đề truy vấn đa cấp và cập nhật dữ liệu hiệu quả trong ứng dụng agent.

Anchor Detection for RAG: Parallel Detectors, Then One LLM Call at the End

Bài viết giới thiệu quy trình phát hiện mỏ neo (anchor detection) cho hệ thống RAG doanh nghiệp gồm ba giai đoạn: chạy song song các bộ phát hiện từ khóa và nhúng (embedding) trên hai bảng cấu trúc (line_df và toc_df), sau đó sử dụng một lần gọi LLM để xếp hạng ứng viên với lý do minh bạch. Tác giả nhấn mạnh phát hiện từ khóa luôn bắt buộc (miễn phí, xác định), nhúng là tín hiệu song song tùy chọn để khớp từ vựng, còn BM25 kém hiệu quả hơn so với thang điểm đồng xuất hiện tùy chỉnh trong tài liệu doanh nghiệp. Ba mô hình kết hợp bảng chéo cũng được đề cập: "reason-then-match", "section-weighted match" và "hybrid embedding".

Để tối ưu hóa hiệu quả và hiệu suất của hệ thống RAG cho doanh nghiệp, bạn nên đọc bài này để hiểu cách xây dựng một giải pháp anchor detection hiệu quả bằng cách kết hợp các detector song song với một gọi duy nhất đến LLM cuối cùng, giúp giảm chi phí và tăng độ chính xác trong việc chọn lựa thông tin phù hợp.

Context Windows Are Not Memory: What AI Agent Developers Need to Understand

Cửa sổ ngữ cảnh (context window) không phải là bộ nhớ bền vững trong các tác nhân AI, vì mỗi cuộc gọi API đều stateless, buộc mô hình phải đọc lại toàn bộ hội thoại từ đầu, gây tốn kém token, độ trễ và suy giảm sự chú ý. Để đạt được bộ nhớ thực sự, tác nhân AI cần quản lý như một cơ sở dữ liệu, truy vấn state machine ở mỗi lượt và cập nhật thay vì phụ thuộc vào cửa sổ ngữ cảnh.

Lập trình viên phát triển AI agent nên đọc bài này để hiểu cách tối ưu hóa hiệu suất và chi phí bằng cách phân biệt giữa bộ nhớ tạm thời của API và bộ nhớ thực sự, từ đó thiết kế kiến trúc agent hiệu quả hơn.

Using LlamaIndex for RAG in Python – Real Python

Khóa học hướng dẫn xây dựng ứng dụng RAG (Retrieval-Augmented Generation) bằng Python với LlamaIndex, từ thiết lập môi trường, tải tài liệu, tạo và lưu trữ indexes tìm kiếm, cấu hình nhà cung cấp AI (local/remote) đến chạy truy vấn nhằm giảm thiểu ảo giác (hallucination) từ LLM.

Là người phát triển Python muốn xây dựng hệ thống xử lý thông tin tự động với chất lượng cao, LlamaIndex giúp bạn tự động hóa việc kết hợp tìm kiếm và sinh lời từ mô hình ngôn ngữ lớn, giảm thiểu sai sót và tối ưu hóa hiệu suất cho ứng dụng của mình.

Running pgvector in production on Amazon Aurora PostgreSQL

A comprehensive operational guide for running pgvector on Amazon Aurora PostgreSQL in production. Covers choosing between HNSW and IVFFlat indexes (or no index at all for small/partitioned datasets), configuring distance operators (cosine vs inner product), scaling to millions of vectors with quantization and partitioning, managing HNSW index churn via REINDEX CONCURRENTLY or partition-based rebuilds, capacity planning for memory-resident HNSW graphs, and observability using pg_stat_statements, CloudWatch metrics, and custom recall tracking. Includes concrete SQL examples, recommended parameter values (m=16, ef_construction=128), and a two-stage binary quantization retrieval pattern for large datasets.

10 Years of MongoDB Atlas: Built for What’s Next

MongoDB Atlas celebrates its 10th anniversary, tracing its evolution from a managed cloud database launched in 2016 to an AI-ready data platform. Key milestones include multi-cloud cluster support across AWS, Azure, and Google Cloud, ACID transactions, Atlas Search, Vector Search, and the acquisition of Voyage AI for improved embedding and reranking. Today Atlas serves over 250,000 new builders monthly, processes more than three trillion queries per day, and hosts over 726,000 vector indexes across nearly 70,000 customers. The post highlights how Atlas is now positioned as the data layer for agentic AI applications, enabling semantic search, RAG, and real-time context retrieval without requiring separate infrastructure.

Context engineering vs prompt engineering: the difference

Kỹ thuật ngữ cảnh (context engineering) là bước quan trọng hơn so với kỹ thuật prompt (prompt engineering) trong sản xuất AI agent, vì hầu hết lỗi xảy ra do thiếu, cũ hoặc phân mảnh ngữ cảnh chứ không phải do hướng dẫn kém. Nó bao gồm quản lý toàn bộ ngữ cảnh đầu vào (tài liệu truy xuất, bộ nhớ, đầu ra công cụ, dữ liệu thời gian thực) và xử lý các vấn đề như dữ liệu lỗi thời hay phân tán. Các nền tảng như Redis Iris cung cấp giải pháp thống nhất cho lớp này, tích hợp tìm kiếm vector, bộ nhớ ngữ nghĩa, lưu trữ tạm thời và tích hợp dữ liệu.

Lập trình viên nên đọc bài này để hiểu cách xây dựng hệ thống AI mạnh mẽ hơn bằng cách tập trung vào việc quản lý và tích hợp context (bối cảnh) chứ không chỉ phụ thuộc vào cách viết prompt đơn giản.

How to Build Production-Grade AI Guardrails for Enterprise Applications: A Practical Guide

A practical guide to building multi-layered AI guardrail systems for enterprise LLM applications, based on real-world experience deploying an internal RAG assistant. Covers three defensive layers: input validation using regex and keyword blocking to stop prompt injection, role-based document retrieval filtering to prevent unauthorized data access, and output validation to redact sensitive data and detect hallucinations. Includes Python code for each layer and lessons learned about latency, logging, and why security must never rely on system prompts alone.

Mistral OCR 4: cheap, self-hosted document AI

Mistral has released OCR 4, a document AI model that converts files into structured data with bounding boxes, block type classifications, and per-word confidence scores. Unlike older OCR tools that return flat text, OCR 4 maps the full layout of a document, making it suitable for AI agents that need to act on documents rather than just read them. It supports PDFs, Word, PowerPoint, and OpenDocument files across 170 languages. Pricing starts at $2 per 1,000 pages in batch mode, with a Document AI tier at $5. The model is small enough to run in a single container, enabling on-premises deployment for data-sovereignty-conscious enterprises like banks, hospitals, and governments. It is available via Mistral's studio, Amazon SageMaker, and Microsoft Foundry. Benchmarks show an 85.20 score on OlmOCRBench and a 72% human-judged win rate against rivals, though Mistral cautions the model is not suitable for medical, legal, or high-stakes financial decisions.

Build Trust in Agentic AI: From POC to Production

A four-step framework for moving agentic AI systems from proof-of-concept to production-grade enterprise deployments. The framework covers: (1) a foundation layer using RAG, operational data, and agent memory to reduce hallucinations; (2) a verification layer with Agent Confidence Score (ACS) and Business Risk Score (BRS); (3) a governance layer using an Agent Decision Score formula (ADS = ACS × (1 - BRS)) with a traffic-light routing system for human-in-the-loop escalation; and (4) an outcomes layer with executive dashboards tracking ROI, cost-per-task, and systemic risk. A customer refund workflow is used throughout as a concrete example. MongoDB is positioned as the unified data platform for agent memory, vector search, and execution traces.

The emergence of the web data infrastructure layer for AI

As AI systems move beyond static training data, enterprises face a growing need for real-time web data infrastructure. Traditional model training on fixed snapshots is insufficient for use cases like dynamic pricing, market tracking, and reducing hallucinations. A new infrastructure layer — capable of emulating human browsing at massive scale, navigating anti-bot protections, and delivering structured data with low latency — is emerging to fill this gap. Bright Data's CEO argues that AI intelligence without a live knowledge layer is practically useless, and that 97% of AI organizations depend on real-time web data yet 90% feel constrained by access restrictions. Compliance with GDPR and CCPA is addressed through consent-based networks and public-data-only policies. This sponsored content promotes Bright Data's web data platform as a solution.

When the Model Is Confident and Wrong: A Practitioner Guide to LLM Output Reliability

A practitioner running ~1,000 LLM inference calls per day shares five production-tested patterns for reducing confident incorrectness in LLM outputs. Key techniques include schema enforcement with Pydantic validation and automated retries (reducing formatting failures from 8% to under 0.5%), aggressive grounding by placing source material before task instructions in the prompt, disciplined temperature and top-p settings per task type, using chain-of-thought reasoning traces as reliability signals, and RAG with source-position metadata for auditability. The post also debunks three commonly recommended but unreliable approaches: self-consistency voting, asking models to self-rate confidence, and negative prompting like 'do not hallucinate'.

Beyond regex: Harvesting security logic with LLMs

Dự án SastAI của Red Hat kết hợp AI thế hệ mới (LLMs) với kỹ thuật RAG, semantic code search và pattern harvesting để tự động xác định các cảnh báo sai (false positive) trong SAST. Bằng cách trích xuất logic bảo mật lặp lại từ 8.000 phát hiện đã được chú thích, hệ thống đạt hiệu suất cao hơn 10% so với mô hình gốc, đồng thời hướng tới tích hợp học liên tục và có thể mã nguồn mở.

Lập trình viên nên đọc bài này để khám phá cách AI sinh thành có thể tự động hóa và nâng cao hiệu quả phát hiện lỗ hổng an ninh trong mã nguồn, giúp tiết kiệm thời gian và giảm sai sót trong kiểm thử an ninh ứng dụng.

How to Teach a Small LLM to Suggest K12 Creative Project Ideas

A hands-on walkthrough of fine-tuning a small LLM (Qwen2.5-1.5B) to suggest culturally-grounded K12 STEAM project ideas. Covers the full pipeline: scraping and filtering ~19,000 Wikipedia articles, generating structured JSON training pairs using a local Qwen 2.5 7B model via Ollama, fine-tuning with LoRA on Apple Silicon using MLX, evaluating on a held-out test set, adding RAG with vector embeddings to improve cultural accuracy, and integrating the model into a TypeScript educational app. Also addresses child-safety guardrails through both data filtering and runtime screening.

Why Agent Memory Should Store Facts, Not Conversations

AtomMem, a paper from USTC, argues that LLM agent memory systems fail because they store at the wrong granularity — conversation turns instead of atomic facts. By decomposing turns into the smallest self-contained statements, organizing them in a hierarchy, and connecting them via an associative graph, the system achieves state-of-the-art on the LoCoMo benchmark with a 61.4% reduction in API token consumption. The core design principle: memory granularity should match query granularity, not input granularity. The post also honestly addresses open questions around extraction reliability (LLMs in the write path can hallucinate durable falsehoods) and graph coherence at very long horizons, and offers practical guidance on when the approach is and isn't a net win.

Retrieval Is Filtering, Not Search: A Mental Model for Enterprise RAG

A mental model for enterprise RAG that reframes retrieval as a filtering problem on two structured DataFrames — line_df (document text) and toc_df (table of contents) — rather than a vector similarity search. The core insight is separating anchor scope (small, precise: where the signal is detected) from context scope (large, sufficient: what gets passed to the LLM for generation). The article walks through four question types that require different retrieval strategies, explains why cosine top-k fails on most of them, and introduces three context expansion strategies: paragraph, section, and window expansion. It also covers the anchor/context distinction, how the two DataFrames collaborate via section_id joins, and when to use LLM calls versus deterministic rules for section boundary detection.

Open models, global networks: How AT&T and GSMA are accelerating innovation with Gemma

AT&T and GSMA have collaborated to build OTel, a family of open telecom-specific AI models fine-tuned on Gemma (Google's open-source model family). Trained on a specialized telco dataset curated by GSMA, operators, equipment vendors, and academia, the initiative produced 30 models across various sizes. Gemma-4-E4B-it achieved 91.74% accuracy — the highest among all tested architectures. The models use RAG-based training to reduce hallucinations, critical for regulated telecom environments. OTel has surpassed 18 million downloads and ranks among the top models on Open Telco Benchmarks, demonstrating that smaller domain-specific models can outperform larger general-purpose frontier models in specialized tasks like network configuration and self-healing systems.