CORTO, a legal tech platform serving over 10,000 law firms, scaled Amazon Aurora PostgreSQL with pgvector to handle 7.6 billion vectors across 2.5 billion documents in a 46 TB cluster, delivering sub-second semantic search. Key architectural decisions included separating vector storage from bulk text (moving metadata to DynamoDB and archives to S3), self-hosting Nomic embeddings to avoid API rate limits, migrating from OpenAI ADA (1,536 dimensions) to Nomic embeddings (384 dimensions) for a 75% storage cost reduction, and implementing per-firm partial HNSW indexes with hash partitioning by firm_id for tenant isolation and consistent low-latency performance. The company also built two-layer observability combining service-level tracing with document-level pipeline correlation, cutting mean time to resolution from hours to minutes.
Source: https://aws.amazon.com/blogs/database/cortos-billion-scale-legal-semantic-search-with-aurora-postgresql-pgvector. 8 Sync News only summarizes and links out; content copyright belongs to the authors and original sources.
Đang tải bình luận…
Concurrency control trong hệ thống phân tạp tồn tại hai hình thức khác nhau và hầu hết lỗi …
Fairwinds triển khai n8n trên EKS với worker nodes, PostgreSQL, Redis, S3 và external secrets để xử lý workflow. Họ sử dụng Horizontal Pod Autoscaler (HPA) để tự động scaling worker nodes dựa trên CPU utilization, đạt hiệu suất tốt với chỉ 2% error rate. Doanh nghiệp gặp thách thức khi cần migrate sang cluster EKS mới mà không downtime, giải pháp bằng blue-green deployment kết hợp với DNS failover. Bài viết cung cấp kiến thức thực tế về monitoring với Prometheus và Grafana, cùng chiến lược disaster recovery backup S3 mỗi giờ và restore point-in-time cho PostgreSQL.
Bài viết này cung cấp kinh nghiệm thực tế triển khai, vận hành và di chuyển n8n trên EKS với các thành phần worker, PostgreSQL, Redis, S3 và secrets quản lý an toàn.
Neon Functions nay ho tro chay theo lịch triger bang cron job, su dung tinh nang scale to zero de tien ich. He thong se tu dong goi ham khi dieu kien thoi gian duoc dat ra. Cac cron job trong Neon Functions hoan toan tuong thich voi quy mo scale to zero. Feature nay giup tinh toan chi khi can, giam chi phi khi khong su dung. Neu ban dang su dung Neon va can thuc thi ham theo chu ky, tinh nang nay rat huu ich.
Cron jobs trong Neon Functions giúp tự động hóa và tối ưu chi phí bằng cách chạy code theo lịch trình với khả năng mở rộng về quy mô.
Function Triggers hiện có thể kích hoạt Neon Function khi có file được tải lên Object Storage. Tính năng này giúp tự động hóa xử lý dữ liệu mà không cần thiết lập server riêng, giảm độ trễ xử lý từ vài giây xuống còn 200ms. Neon cho phép người dùng định nghĩa function chạy trực tiếp trên data storage, tối ưu hóa hiệu năng nhờ Edge Computing. Với hỗ trợ các trigger event từ S3, Azure Blob và Google Cloud Storage, Neon cung cấp giải pháp serverless hiệu quả và tiết kiệm chi phí cho các nhà phát triển.
Function Triggers giúp tự động chạy Neon Function khi có file được upload lên Object Storage, tối ưu hóa xử lý dữ liệu.
pgBackRest đã được benchmark với các thuật toán nén khác nhau (gz, lz4, zst, bz2) trên dữ liệu thực từ Stack Exchange. Zstandard ở mức thấp (zst(3)) cho tỷ lệ CPU-cost-to-savings tốt nhất với tỷ lệ tiết kiệm 64.7% chỉ trong 59 CPU-seconds, trong khi mức zst(22) chỉ giảm thêm 9.4% dung lượng nhưng tốn gấp 90 lần CPU. LZ4 chỉ hiệu quả ở mức 1 hoặc thấp hơn, gzip đạt đỉnh ở mức 5-6, còn bz2 không bao giờ nằm trên biên hiệu quả. Bạn nên tự benchmark với dữ liệu thực của mình trước khi chọn mức nén sản phẩm.
Bài này giúp bạn chọn mức nén tối ưu cho pgBackRest bằng cách phân tích chi phí CPU và hiệu suất lưu trữ cho từng thuật toán.
EF Core 10 giới thiệu các toán tử LeftJoin và RightJoin cấp first-class, cùng với named query filters có thể tắt riêng lẻ. Bản cập nhật này hỗ trợ complex types được ánh xạ trực tiếp vào JSON columns, cải thiện hiệu suất truy vấn. Các tính năng mới giúp giảm thiểu lượng code cần viết khi xử lý các thao tác join và lọc phức tạp. Với khả năng ánh xạ trực tiếp đến JSON columns, EF Core 10 mang lại giải pháp linh hoạt hơn cho việc làm việc với dữ liệu không quan hệ. Những cải tiến này đặc biệt hữu ích cho các ứng dụng cần xử lý cả cấu trúc quan hệ và phi quan hệ.
EF Core 10 mang đến những tính năng đột phá như LeftJoin, RightJoin và bộ lọc truy vấn có thể tắt riêng lẻ, giúp tối ưu hiệu suất và khả năng linh hoạt trong phát triển ứng dụng.
Bối cảnh là việc phát triển phần mềm bị đình trệ, đặc biệt với dự án Duke Nukem Forever. Nguyên nhân kỹ thuật thường đến từ việc liên tục thay đổi yêu cầu và tái cấu trúc code mà không có kế hoạch rõ ràng. Hệ quả là dự án kéo dài vô hạn, tốn hàng triệu USD và cuối cùng phải hủy bỏ. Điều đáng học là áp dụng phương pháp agile và thiết kế hệ thống vững chắc ngay từ đầu để tránh rơi vào "Duke Nukem Forever Mode".
Bài này giúp lập trình viên tránh sa vào tình trạng trì hoãn vô tận như Duke Nukem Forever.
Trendyol xử lý hàng triệu sự kiện và giao dịch mỗi ngày và trước đây dựa vào Couchbase làm kho dữ liệu chính. Khi chi phí cấp phép và vận hành Couchbase tăng theo mức sử dụng, đội ngũ quyết định tìm giải pháp thay thế mã nguồn mở để giảm chi phí mà không làm giảm hiệu suất. Họ đã thiết kế lại mô hình dữ liệu, chuyển các truy vấn và bộ đệm sang PostgreSQL, sử dụng partitioning và indexing tối ưu để duy trì thời gian phản hồi ở mức mili giây. Sau khi hoàn tất migration, chi phí hạ tầng đã giảm đáng kể trong khi latency trung bình vẫn ổn định ở mức trước khi thay đổi. Bài viết nhấn mạnh bài học quan trọng: trước khi thay đổi công nghệ cần đo lường rõ ràng cả chi phí và chỉ số hiệu suất để đảm bảo quyết định mang lại lợi ích thực tế.
Bài viết này cho thấy cách giảm chi phí cơ sở dữ liệu mà không làm giảm hiệu suất thông qua việc di chuyển từ Couchbase sang PostgreSQL.
Read the news here, practice coding, follow structured courses and train for IELTS on our sibling products — all connected through one 8 Sync account.
The ecosystem home: product overviews, blog and full pricing.
ExploreLearn along a clear roadmap: videos, auto-graded quizzes, certificates and mentors who ship for a living.
View the roadmap1,000+ DSA problems in Vietnamese, auto-graded across 7 languages — many FREE, right in your browser.
Practice for freeAI grading for all four IELTS skills with detailed rubric feedback.
Try it freeA 22 MB AI IDE for Vietnamese devs.
Download freeOrganizational memory for AI agents.
ExploreAI that staffs your Fanpage and qualifies leads for you.
Try it