Metadata Filtering: Boost Vector Search Precision at Scale

Kimi K3’s 1M Token Context Window vs. RAG: Cost, Latency and Answer Quality

Trong thí nghiệm so sánh, Kimi K3 với cửa sổ ngữ cảnh 1 triệu token trả lời đầy đủ 12 câu hỏi trên corpus 127.068 token, trong khi RAG đạt điểm thấp hơn về độ hoàn chỉnh (0,83/2) dù tương đương về tính căn cứ. Kimi K3 tốn 16 lần chi phí và thời gian xử lý gấp 3 lần mỗi câu hỏi, đồng thời phá vỡ hạn mức 1,5 triệu token/ngày chỉ sau một lượt truy vấn. Bài viết cũng chỉ ra ba lỗi thường gặp: token suy luận chiếm ngân sách, kết quả không nhất quán do chỉ hỗ trợ temperature=1, và bộ nhớ cache tiền tố kém hiệu quả (tỷ lệ trúng chỉ 33%). Khuyến nghị sử dụng long-context cho corpus nhỏ, truy vấn hiếm, còn RAG phù hợp khi khối lượng truy vấn tăng.

Những lập trình viên xây dựng hệ thống AI cần đọc để hiểu cách cân bằng hiệu suất, chi phí và độ tin cậy giữa các phương pháp xử lý văn bản dài (1M token) và RAG khi ứng dụng vào dự án thực tế, đặc biệt khi quyết định về quy mô và tần suất sử dụng.

P99 CONF Speaker Spotlight: Madelyn Olson

Madelyn Olson, Kỹ sư phần mềm chính tại AWS kiêm đồng sáng lập/bảo trì dự án Valkey, sẽ chia sẻ trong P99 CONF về "The Vertical Scaling…".

Là một lập trình viên muốn khám phá cách tối ưu hóa hệ thống phân tán và mở rộng dọc hiệu quả, Madelyn Olson chia sẻ kinh nghiệm thực tế từ AWS và Valkey sẽ giúp bạn hiểu rõ hơn về kiến trúc và kỹ thuật cho ứng dụng có thể chịu tải cao.

GraphRAG: How AI Answers Questions Hidden Across Many Documents

GraphRAG được thiết kế để xử lý các loại câu hỏi phức tạp, nơi thông tin nằm rải rác trong nhiều tài liệu khác nhau.

Lập trình viên cần đọc bài này để khám phá cách GraphRAG kết hợp đồ thị và vector search để giải quyết vấn đề tìm kiếm thông tin phân tán trong nhiều tài liệu, giúp xây dựng hệ thống xử lý câu hỏi thông minh hơn cho ứng dụng AI của riêng bạn.

Does anyone run Postgres without PgBouncer?

Hầu hết các nhà cung cấp Postgres lớn (AWS RDS, Azure, Google Cloud SQL, Supabase …

Sixteen Locks Ought to Be Enough for Anybody

Mỗi truy vấn PostgreSQL chiếm 16 slot khóa (AccessShareLock) trong mảng fast-path, nhưng nếu bảng có hơn 16 quan hệ (bảng + indexes), các khóa dư sẽ chuyển sang bảng khóa chia sẻ tốn kém, gây ùn tắc LWLock:LockManager và tăng CPU khi tải truy vấn cao. PostgreSQL 18 bỏ giới hạn 16 slot này bằng cách điều chỉnh kích thước mảng từ max_locks_per_transaction (mặc định 64), trong khi các prepared statements (đã khắc phục lỗi tương thích với PgBouncer 1.21) vẫn tránh được vấn đề này nhưng không tương thích với RDS Proxy. Khuyến cáo vẫn là hạn chế tạo quá nhiều indexes cho bảng.

Lập trình viên nên đọc bài này để hiểu cách PostgreSQL 18 cải thiện hiệu suất truy vấn bằng cách loại bỏ giới hạn 16 slot lock cố định, giúp giảm chậm trễ và tốn CPU khi có nhiều bảng và chỉ số, đặc biệt khi sử dụng connection pooler như PgBouncer.

Ten Is Not a Hundred

Nghiên cứu đánh giá năm phương pháp phát hiện ảo giác (Ragas-style LLM judge, embedding similarity, entailment model, LettuceDetect, MiniCheck) trên tập dữ liệu RAG bị thay đổi số đơn lẻ, cho thấy hầu hết chỉ đạt hiệu suất ngẫu nhiên (AUROC 0,51–0,59), ngoại trừ MiniCheck (0,75). Các detector dựa trên embedding thường bỏ qua sai sót số do bỏ qua độ lớn, trong khi LLM judge chỉ đánh giá tính hợp lý. Thư viện open-source groundlens được giới thiệu để phát hiện lỗi thay thế số bằng so khớp token thay vì vector.

Là lập trình viên phát triển hệ thống xử lý dữ liệu hoặc chatbot, bạn nên đọc bài này để hiểu cách các mô hình AI hiện nay thường mắc phải khi xử lý sai sót số liệu nhỏ—như thay đổi một chữ số—và tìm hiểu cách cải thiện hiệu quả phát hiện lỗi bằng phương pháp token-level thay vì dựa vào vector hóa hoặc khả năng tương đồng văn bản.

Queue-SQL: Run Mass Deletes and Updates Across Parallel Queue Jobs

Queue-SQL là một package Laravel giúp chuyển đổi các thao tác mass update, delete và insert thành các batch job chạy song song.

Lập trình viên cần đọc bài này để hiểu cách tối ưu hóa hiệu suất và giảm thời gian xử lý khi thực hiện các thao tác bulk update/delete trong Laravel bằng cách chia thành các công việc queued song song, tránh tình trạng chậm trễ khi xử lý hàng loạt dữ liệu.