#couchbase

Building a Test Matrix Pipeline for Couchbase Autonomous Operator

Một thực tập sinh kỹ thuật tại Couchbase chia sẻ cách xây dựng pipeline Test Matrix cho Couchbase Autonomous Operator (CAO), tự động kiểm tra tương thích giữa các phiên bản Kubernetes/OpenShift, CAO, Couchbase Server và nhà cung cấp cloud (EKS, GKE, AKS). Pipeline sử dụng Jenkins cùng ba chương trình Go (dispatch, execute, rerun) để sinh tất cả tổ hợp phiên bản, lọc test bằng hệ thống tag YAML, và xử lý lỗi hạ tầng bằng cơ chế lưu kết quả tăng dần cùng giai đoạn rerun chuyên biệt.

Lập trình viên muốn tự động hóa kiểm thử cho ứng dụng cloud-native như Couchbase Autonomous Operator sẽ tìm hiểu cách xây dựng một hệ thống pipeline liên tục kiểm tra các phiên bản kĩ thuật khác nhau, từ Kubernetes đến cloud provider, để đảm bảo tính nhất quán và hiệu suất trong môi trường thực tế.

NoSQL Database Evaluation: A Hands-On Guide

Bài viết hướng dẫn đánh giá cơ sở dữ liệu NoSQL thông qua tám tiêu chí thực hành: mô hình dữ liệu, tính nhất quán, ngôn ngữ truy vấn, khả năng mở rộng, hiệu năng, triển khai, vận hành (ops) và di chuyển dữ liệu.

Là người phát triển cần hiểu NoSQL không phải là một giải pháp đơn giản, nên đọc để so sánh các cơ sở dữ liệu không quan hệ phù hợp với dự án của mình qua thực hành cụ thể.

AI Stack Consolidation With a Database-as-a-Service

Một dịch vụ cơ sở dữ liệu (Database-as-a-Service) như Couchbase Capella có thể hợp nhất các thành phần trong stack AI, giảm thiểu sự trùng lặp và tải vận hành, đồng thời giúp các nhóm quyết định những gì nên được tích hợp vào nền tảng này.

Lập trình viên AI nên đọc bài này để hiểu cách tối ưu hóa hệ thống bằng cách sử dụng Database-as-a-Service như Couchbase Capella để giảm thiểu sự trùng lặp, giảm tải vận hành và quyết định liệu nên tích hợp các thành phần AI vào cơ sở dữ liệu hiện có.

Enterprise NoSQL Modernization: What Migration Planning Gets Wrong

Hầu hết các chương trình hiện đại hóa NoSQL thất bại không phải do lựa chọn công nghệ mà do cách triển khai. Các kiến trúc sư IT cấp cao cần xây dựng chiến lược di chuyển dữ liệu mạnh mẽ hơn.

Lập trình viên nên đọc bài này để tránh rơi vào sai lầm về kế hoạch chuyển đổi cơ sở dữ liệu NoSQL, từ đó hiểu rõ cách xây dựng chiến lược di chuyển dữ liệu hiệu quả hơn, thay vì chỉ tập trung vào chọn công nghệ phù hợp.

Data Analysis Methods: Qualitative vs. Quantitative

Phân tích dữ liệu có hai phương pháp chính: định tính (qualitative) và định lượng (quantitative), mỗi phương pháp phù hợp với loại dữ liệu khác nhau và đều có những thách thức riêng cần vượt qua.

Lập trình viên cần đọc bài này để hiểu cách áp dụng các kỹ thuật phân tích dữ liệu (không chỉ là code) để giải quyết vấn đề từ dữ liệu số lượng (quantitative) và dữ liệu mô tả (qualitative), giúp nâng cao khả năng phân tích và quyết định dựa trên dữ liệu thực tế.

Vector Indexes Are Not Interchangeable. Most Applications Treat Them Like They Are.

Việc cấu hình vector index là quyết định quan trọng nhưng ít được xem xét lại trong hệ thống semantic search, vì nó ràng buộc kiến trúc như mô hình bộ nhớ, nén dữ liệu và cú pháp truy vấn. Bài viết phân tích ba yếu tố mâu thuẫn recall, độ trễ và chi phí, đồng thời giới thiệu ba loại vector index của Couchbase (Hyperscale, Composite, FTS) phù hợp với quy mô và mẫu filter khác nhau. Các lỗi thường gặp bao gồm giới hạn bộ nhớ khi dùng FTS, hiệu suất kém khi chọn Hyperscale cho filter-first, và tình trạng codebook drift làm giảm recall. Một khung quyết định dựa trên nhu cầu keyword, quy mô, selectivity của filter và dự báo tăng trưởng được đề xuất, kèm theo công cụ Vector Index Advisor hỗ trợ lựa chọn phù hợp.

Lập trình viên nên đọc bài này để tránh rủi ro về hiệu suất và chi phí khi chọn sai kiểu vector index—những quyết định này ảnh hưởng lâu dài đến bộ nhớ, thời gian phản hồi và độ chính xác tìm kiếm mà bạn không thể thay đổi dễ dàng sau đó.

When Column Names Lie: Bringing External Catalogs to NL2SQL++

Bài viết giới thiệu cách cải thiện NL2SQL++ bằng cách tích hợp các catalog dữ liệu bên ngoài (như DataHub, OpenMetadata) vào Couchbase, thay vì chỉ dựa vào tên cột. Các mô tả cột được nhúng thành vector 384 chiều và truy vấn bằng vector search để chọn đúng cột có ý nghĩa ngữ nghĩa, từ đó sinh ra SQL++ chính xác hơn nhờ mô hình Claude trên AWS Bedrock. Phương pháp này khắc phục tình trạng tên cột gây hiểu nhầm hoặc trùng lặp trong doanh nghiệp.

Lập trình viên muốn tự động hóa và chính xác hóa việc chuyển đổi ngôn ngữ tự nhiên sang SQL trong ứng dụng doanh nghiệp nên đọc bài này để khám phá cách giải quyết vấn đề sai sót do tên cột không rõ ràng hoặc tương đồng khi kết hợp với các công cụ catalog dữ liệu hiện đại.

What We Learned Evaluating Agent Memory:The Results (Part 2)

A detailed experimental evaluation of Couchbase Agent Memory across three benchmarks (LME-S, LME-M, LoCoMo) reveals several non-obvious findings. Raw conversation messages outperform LLM-generated summaries overall, especially for questions requiring exact entity matching. Optimal retrieval depth (k) varies by haystack scale — k=10 for small, k=20 for large — and more context beyond the optimum degrades performance. Temporal reasoning is the weakest category but improves ~7x by simply prepending session dates to stored memories at ingestion time. BM25 reranking with large initial pools hurts performance, while hybrid search improves temporal recall at the cost of multi-session precision. The key takeaway: agent memory has a distinct design space from document RAG, no single configuration is universally optimal, and systems tuned on small benchmarks may be misconfigured at production scale.

What We Learned Evaluating Agent Memory:The Setup (Part 1)

Agent memory differs fundamentally from RAG: the corpus is personal and dynamic, queries are autobiographical, and time is a first-class dimension. This post details an evaluation framework using two benchmarks — LoCoMo (10 long naturalistic conversations, 1,540 questions) and LongMemEval (500 questions in session haystacks at two scales: ~46 sessions vs. ~500 sessions). Key findings include that optimal retrieval depth (k) and prompt variants differ significantly between the small and large scale variants, making LME-S an insufficient proxy for production. Three metrics are used: BLEU, F1, and an LLM Judge score — with the judge prompt itself shown to dramatically shift results. The ingestion pipeline uses dual point-of-view extraction, async LLM context extraction (~3.6s), and stores raw text, summaries, and discrete fact strings in Couchbase with human-readable timestamps. Embedding-based vector search returns in ~298ms p50, with the embedding step as the bottleneck rather than Couchbase retrieval.

Distributed Databases: An Overview

Cơ sở dữ liệu phân tán lưu trữ dữ liệu trên nhiều máy chủ kết nối qua mạng, với các kiến trúc phổ biến như shared-nothing và primary/secondary.

Lập trình viên cần đọc bài này để hiểu cách thiết kế hệ thống phân tán hiệu quả, giúp tối ưu hóa khả năng mở rộng, độ tin cậy và quản lý dữ liệu trong ứng dụng lớn và phân tán.

Azure Key Vault for Credentials

Azure Key Vault offers a more secure alternative to storing Couchbase credentials in local config files or environment variables. Two approaches are covered: using Azure Key Vault references in Azure Functions app settings (with managed identity, no custom SDK code needed), and Couchbase Capella's native Customer-Managed Encryption Keys (CMEK) integration with Azure Key Vault for data-at-rest encryption. CMEK requires the Capella Enterprise plan, an RSA key (2048/3072/4096-bit), and the Key Vault in the same Azure region as the cluster. Key benefits include AES-256 encryption at rest, version history, cross-app secret sharing, granular RBAC, and full control over key rotation and revocation.

When the Internet Goes Down, Your Business Shouldn’t

Couchbase Mobile is a cloud-to-edge-to-device data platform designed to keep enterprise mobile apps running during network outages. It combines an embedded NoSQL database (Couchbase Lite) with a sync layer (Sync Gateway/Capella App Services) and an edge server, enabling offline-first operation with automatic sync when connectivity returns. The latest release (version 4.1) adds Bluetooth peer-to-peer sync for fully disconnected environments, React Native SDK support, rolling upgrades in Sync Gateway, and expanded Edge Server security and platform support. Customers like PepsiCo, Emirates, and Princess Cruise Lines rely on it for mission-critical operations. On-device vector search and RAG support position it for Edge AI use cases.

On-Device AI: Benefits, Use Cases, and Challenges

On-device AI runs AI inference directly on local hardware rather than remote cloud servers. Models are trained in the cloud then compressed using techniques like quantization, pruning, and knowledge distillation before deployment to devices. Key benefits include reduced latency, improved privacy, offline functionality, and lower cloud costs. Challenges include limited compute/storage resources, model size constraints, complex OTA update distribution, and power consumption. Common use cases span mobile apps, IoT/smart home devices, retail personalization, and industrial monitoring. Hybrid edge-plus-cloud architectures offer a practical middle ground. Recommended frameworks include TensorFlow Lite, PyTorch Mobile, ONNX Runtime, Core ML, and Android NNAPI.

Accelerating AI in Healthcare: Fix Data Infrastructure Before AI Fails Become a Board Priority

Hầu hết dự án AI trong y tế thất bại do hạ tầng dữ liệu cũ, phân mảnh, không phù hợp với workloads thời gian thực. FHIR trở thành tiêu chuẩn bắt buộc nhưng triển khai quy mô lớn rất phức tạp. Couchbase đề xuất giải pháp NoSQL phân tán lưu trữ tài nguyên FHIR dạng JSON, hỗ trợ tìm kiếm toàn văn, triển khai đa vùng và hợp nhất workloads vận hành, phân tích cùng AI vector trên một nền tảng duy nhất, đồng thời tuân thủ HIPAA và GDPR.

Lập trình viên AI trong y tế nên đọc bài này để hiểu cách chuyển đổi cơ sở dữ liệu legacy sang các giải pháp hiện đại như Couchbase FHIR, giúp tối ưu hóa hiệu suất mô hình AI và giảm thiểu rủi ro do dữ liệu không đồng nhất gây ra trong môi trường y tế.

What Is DiskANN? Billion-Scale Vector Search Explained

DiskANN is a graph-based approximate nearest neighbor (ANN) algorithm from Microsoft Research (NeurIPS 2019) that enables billion-scale vector search by storing indexes on SSD rather than RAM. Built on the Vamana directed graph algorithm combined with product quantization (PQ), it keeps only compressed vectors in RAM for fast routing while reading full-precision vectors from SSD for final reranking. This achieves 95%+ recall with sub-5ms latency on 1B vectors using just 64GB RAM — 5-10x more vectors per machine than DRAM-only solutions like HNSW. The post covers how DiskANN works, compares it to HNSW and IVF, details tuning parameters (MaxDegree, SearchListSize, BeamWidthRatio), hardware sizing guidelines, and lists databases that support it including Couchbase 8.0, Azure Cosmos DB, Milvus, and pgvectorscale. FreshDiskANN extends the algorithm to support real-time updates without full index rebuilds.

Your AI Agents Are Stuck in Pilot. It’s a Data Problem, Not a Model Problem.

Couchbase announces general availability of its AI Data Plane for self-managed Couchbase Enterprise deployments, extending beyond its managed Capella service. The platform addresses why enterprise AI agents stall in pilot by providing a unified data infrastructure layer with persistent agent memory, governed data access via an MCP Server, and an Agent Catalog for tool/prompt/trace management. The release also includes Apache Iceberg federation, a new Rust SDK, Bluetooth peer-to-peer sync for edge environments, React Native 1.1 support, and expanded infrastructure-as-code capabilities. The core argument is that AI agent production failures stem from fragmented data stacks rather than model limitations, and consolidating memory, caching, vector search, and operational data into one governed layer removes the bottlenecks that prevent pilots from reaching production.

Unlock Massive Scale for AI and Traditional Workloads: Meet the Couchbase Secondary Index Shard Dealer

Couchbase Server 8.0+ introduces the Shard Dealer, an automated system for managing secondary index placement across distributed clusters. It solves the 'Goldilocks problem' of shard count by dynamically scaling from 10–40 shards on small clusters to 600–2,000 on large ones. A multi-pass algorithm handles placement decisions, prioritizing reuse of under-capacity shards before creating new ones. Critically, the system enforces workload isolation by keeping traditional indexes and vector indexes in separate shards, preventing AI workloads from impacting standard query performance. Replica alignment is also maintained to speed up failover and recovery.

Convert XML to JSON in C# With Json.NET and Couchbase

A step-by-step guide to converting XML to JSON in C# using two approaches: Newtonsoft Json.NET (via SerializeXmlNode) and System.Text.Json (with a custom helper). Covers key differences between XML and JSON, common edge cases like attribute prefix handling, repeated element array coercion, namespace stripping, and large file streaming. Also demonstrates storing the resulting JSON documents in Couchbase Server or Capella using the .NET SDK 3.x UpsertAsync method, including parallel bulk insertion with Task.WhenAll.

Distributed Databases: An Overview

Distributed databases store data across multiple networked nodes managed as a single logical system. Two primary architectures exist: primary/secondary (master/slave), where one node handles all writes with secondaries as read replicas, and shared-nothing, where data is partitioned across all nodes for linear write and read scalability. Shared-nothing systems use sharding to split data into partitions distributed across nodes, with replicas maintained for high availability. Relational databases struggle with distribution due to tightly coupled table structures, making NoSQL a common choice for clustered deployments. Couchbase implements shared-nothing architecture using 1024 vBuckets per bucket, each assigned as active and replica copies across nodes, with a vBucket map enabling SDK clients to route requests directly to the correct node without a central proxy.