OpenSearch Optimizations for Production RAG, Part 2: Lexical Retrieval

Daily Dose of Data Science | Avi Chawla | Substack1 Hot6 min5 h agoAI

Google Newsletter Issue Agent-CLI Eval

Karpathy nhấn mạnh tầm quan trọng của việc đánh giá Agent-CLI, điều mà bạn có thể sẽ tiếc nếu bỏ qua.

Lập trình viên nên đọc bài này vì Andrew Karpathy—người có đóng góp lớn trong AI và giáo dục công nghệ—chỉ ra cách Agent-CLI (công cụ đánh giá tự động cho các hệ thống Agent) có thể giúp cải thiện hiệu quả phát triển và đánh giá các ứng dụng AI phức tạp, từ đó tiết kiệm thời gian và tránh những sai lầm thường gặp trong quá trình triển khai.

#llm #ai-agents #rag Source

freeCodeCamp1 Hot13 min4 h agoAI

What Is HyDE? How to Improve RAG with Hypothetical Documents

RAG kết hợp truy xuất dữ liệu với mô hình ngôn ngữ lớn để nâng cao độ chính xác. Phương pháp HyDE (Hypothetical Document Embeddings) đề xuất sinh ra các tài liệu giả định dựa trên truy vấn, từ đó cải thiện chất lượng truy xuất và hiệu suất tổng thể của hệ thống RAG.

Là người phát triển AI, bạn nên đọc bài này để khám phá cách Hypothetical Documents (HyDE) nâng cao hiệu quả của RAG bằng cách sử dụng các giả thuyết tài liệu thay vì chỉ dựa vào dữ liệu thực tế, giúp cải thiện độ chính xác và khả năng ứng dụng trong các ứng dụng cần độ tin cậy cao.

#python #llm #nlp Source

Hacker News1 Hot14 min9 h agoAI

GitHub - marcelroed/gigatoken: Language model tokenization at GB/s

Thư viện gigatoken của GitHub nhằm tối ưu hóa tokenization cho mô hình ngôn ngữ với tốc độ xử lý lên tới GB/s. Dự án mã nguồn mở này cho phép đóng góp từ cộng đồng.

Lập trình viên cần đọc bài này để hiểu cách giải quyết hiệu quả vấn đề token hóa mô hình ngôn ngữ với tốc độ GB/s, giúp tối ưu hóa hiệu suất xử lý AI cho ứng dụng của họ.

#llm #nlp #rust Source

ITNEXT1 Hot12 min2 d agoAI

Introducing OmniVec: An Open-Source Embedding Platform for AI Apps on Azure

Microsoft giới thiệu OmniVec, nền tảng nhúng (embedding) mã nguồn mở dành cho các ứng dụng AI trên Azure.

Lập trình viên phát triển ứng dụng AI trên Azure sẽ tìm hiểu OmniVec để tối ưu hóa hiệu suất xử lý vector hóa, tiết kiệm chi phí và mở rộng khả năng tích hợp với các mô hình AI hiện đại.

#azure #nlp #vector-search Source

GitGuardian34 Hot10 min1 mo agoAI

How Five PostgreSQL Optimizations Sped Up Our Dashboard

Nhóm kỹ thuật GitGuardian đã giảm thời gian phản hồi p95 của dashboard từ 8 giây xuống 1 giây nhờ 5 tối ưu hóa PostgreSQL trên hệ thống Django, bao gồm: deferred JOINs bằng prefetch_related, đếm bất đồng bộ, replica đọc premium, cải tiến full-text search (pg_trgm), và denormalization để hỗ trợ composite indexes. Việc nâng cấp lên PostgreSQL 18 cũng mang lại lợi ích nhỏ. Họ sử dụng OpenTelemetry và EXPLAIN ANALYZE để theo dõi tiến trình.

Nếu bạn đang làm việc với ứng dụng backend sử dụng PostgreSQL và Django, bài viết này sẽ giúp bạn tìm hiểu cách tối ưu hóa hiệu suất dashboard hiệu quả bằng những kỹ thuật cụ thể, từ đó tiết kiệm thời gian và chi phí phát triển.

#database #postgresql #django Source

Towards Data Science1 Hot13 min3 d agoAI

Loop Engineering for RAG Question Parsing: The Small Loop That Runs Before Retrieval

Kỹ thuật loop (vòng lặp) đang nổi lên trong RAG bằng cách bao quanh các cuộc gọi LLM trong các chu kỳ lặp giới hạn nhằm cải thiện chất lượng sản xuất. Khi phân tích truy vấn, một vòng lặp làm rõ nhỏ sẽ kích hoạt trước khi truy xuất nếu parser không thể điền đủ trường schema yêu cầu (như section_hint hay pages_hint) từ truy vấn thô. Pipeline phát hiện thiếu hụt thông qua hồ sơ tài liệu (loại tài liệu, mục lục, số trang), đặt một câu hỏi mục tiêu cho người dùng, phân tích lại đầu vào đã bổ sung, rồi tiếp tục theo cách xác định. Ba trường hợp cụ thể được minh họa: chủ đề không có trong mục lục, chủ đề đa vị trí trong hợp đồng, và tài liệu dài không có mục lục trích xuất được. Khác với RAG theo tác nhân, vòng lặp này chỉ chạy đúng một lần, hoàn toàn do kỹ sư thiết kế (không phải do LLM lập kế hoạch) và vô hình với các thành phần truy xuất và sinh sau đó.

Lập trình viên nên đọc bài này để hiểu cách tối ưu hóa hệ thống RAG bằng cách thiết kế các vòng lặp nhỏ, chuyên biệt và có thể kiểm soát trước để cải thiện chất lượng xử lý câu hỏi mà không cần phụ thuộc vào các quyết định động của LLM.

#llm #rag Source

InfoQ1 Hot3 min4 d agoAI

Pinecone Introduces Nexus Engine for Compiling Business Context into Structured Data for AI Agents

Pinecone vừa ra mắt Nexus Engine, một "knowledge engine" giúp chuyển đổi dữ liệu doanh nghiệp thành cấu trúc có thể truy vấn trực tiếp bởi AI agents. Công cụ này hỗ trợ ingest và curate dữ liệu, cung cấp ngữ cảnh kinh doanh có cấu trúc cho các ứng dụng AI.

Là người viết mã, bạn nên đọc để hiểu cách chuyển đổi dữ liệu phức tạp của doanh nghiệp thành các cấu trúc dữ liệu rõ ràng, giúp AI hoạt động hiệu quả hơn trong việc xử lý và tương tác với thông tin thực tế.

#productivity #ai-agents #rag Source

Medium1 Hot13 min5 d agoAI

Lost in the Middle: Why LLMs Forget What They Just Read

Các mô hình ngôn ngữ lớn (LLM) có thể xử lý ngữ cảnh rộng nhưng thường bỏ qua phần giữa khi đọc, gây ra vấn đề trong hệ thống truy hồi thông tin (RAG).

Làm rõ lý do tại sao các mô hình ngôn ngữ lớn (LLM) thường "quên" nội dung giữa đoạn văn khi xử lý, giúp bạn hiểu cách tối ưu hóa hệ thống tìm kiếm thông tin (RAG) và tránh sai sót khi xử lý dữ liệu dài.

#llm #rag Source

OpenSearch Optimizations for Production RAG, Part 2: Lexical Retrieval

Recommended for you

Google Newsletter Issue Agent-CLI Eval

What Is HyDE? How to Improve RAG with Hypothetical Documents

GitHub - marcelroed/gigatoken: Language model tokenization at GB/s

Introducing OmniVec: An Open-Source Embedding Platform for AI Apps on Azure

How Five PostgreSQL Optimizations Sped Up Our Dashboard

Loop Engineering for RAG Question Parsing: The Small Loop That Runs Before Retrieval

Pinecone Introduces Nexus Engine for Compiling Business Context into Structured Data for AI Agents

Lost in the Middle: Why LLMs Forget What They Just Read

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads