Loading feed…
Weaviate0 Hot0 comments16 min read
Weaviate 1.39 Release
Weaviate 1.39 promotes the Boost API and MMR diversity selection to GA, previews 4-bit Rotational Quantization, and ships an experimental Search REST API.
Source: https://weaviate.io/blog/weaviate-1-39-release. 8 Sync News only summarizes and links out; content copyright belongs to the authors and original sources.
Recommended for you
DigitalOcean Community1 Hot14 minAI
GraphRAG Is an Inference Problem, Not a Database Problem
GraphRAG được ra đời như một phương pháp kết hợp đồ thị kiến thức với Retrieval‑Augmented Generation, nhưng nhiều đội ngũ vẫn lầm tưởng đây là vấn đề chọn cơ sở dữ liệu. Bài viết chứng minh rằngภารado việc chính của GraphRAG nằm ở giai đoạn suy luận của mô hình LLM – thời gian tạo token và truy xuất embedding chiếm hơn 80% latency, trong khi truy vấn đồ thị chỉ chiếm phần nhỏ. Vì vậy, việc đầu tư vào cơ sở dữ liệu đồ thị mạnh mẽ không cải thiện đáng kể hiệu suất; thay vào đó, tối ưu hoá batch inference, quantization và cache kết quả retrieval mới là chìa khóa để giảm chi phí và tăng throughput. Các nhóm phát triển nên tập trung vào kiến trúc suy luận (ví dụ: sử dụng vLLM hoặc TensorRT‑LLM) và thiết kế pipeline reference được cung cấp trong bài, thay vì bỏ thời gian cho việc chọn hoặc tối ưu hoá cơ sở dữ liệu đồ thị. Bài cũng cung cấp con số benchmark cụ thể: trên GPT‑4 Turbo, latency trung bình 180 ms/ request và chi phí khoảng $0,0003 mỗi token khi áp dụng các tối ưu hoá trên.
Bình luận
Đang tải bình luận…
