Manticore Search 28.4.4: Faster KNN, better conversational search, easier installs and more faceting controls

We Are .NET29 Hot9 min10 d agoAI

One Language to Rule Them? LINQ, Abstraction, and What's Next

Bài viết phân tích cách .NET từng có nhiều ngôn ngữ truy vấn riêng cho từng định dạng dữ liệu trước khi LINQ ra đời nhằm thống nhất chúng. Sau đó, mọi định dạng dữ liệu đều dần được chuyển đổi thành objects và truy vấn bằng LINQ.

LINQ không chỉ là công cụ tìm kiếm dữ liệu mà còn là khái niệm trừu tượng hóa và tiêu chuẩn hóa cách xử lý dữ liệu trong các ngôn ngữ .NET, giúp lập trình viên tránh rắc rối của các ngôn ngữ riêng biệt và tối ưu hóa hiệu suất cho các ứng dụng lớn.

#.net #c##vector-search Source

DigitalOcean Community1 Hot14 min3 d agoAI

GraphRAG Is an Inference Problem, Not a Database Problem

GraphRAG được ra đời như một phương pháp kết hợp đồ thị kiến thức với Retrieval‑Augmented Generation, nhưng nhiều đội ngũ vẫn lầm tưởng đây là vấn đề chọn cơ sở dữ liệu. Bài viết chứng minh rằngภารado việc chính của GraphRAG nằm ở giai đoạn suy luận của mô hình LLM – thời gian tạo token và truy xuất embedding chiếm hơn 80% latency, trong khi truy vấn đồ thị chỉ chiếm phần nhỏ. Vì vậy, việc đầu tư vào cơ sở dữ liệu đồ thị mạnh mẽ không cải thiện đáng kể hiệu suất; thay vào đó, tối ưu hoá batch inference, quantization và cache kết quả retrieval mới là chìa khóa để giảm chi phí và tăng throughput. Các nhóm phát triển nên tập trung vào kiến trúc suy luận (ví dụ: sử dụng vLLM hoặc TensorRT‑LLM) và thiết kế pipeline reference được cung cấp trong bài, thay vì bỏ thời gian cho việc chọn hoặc tối ưu hoá cơ sở dữ liệu đồ thị. Bài cũng cung cấp con số benchmark cụ thể: trên GPT‑4 Turbo, latency trung bình 180 ms/ request và chi phí khoảng $0,0003 mỗi token khi áp dụng các tối ưu hoá trên.

Bài viết này giúp lập trình viên hiểu GraphRAG là vấn đề suy luận LLM chứ không phải lựa chọn cơ sở dữ liệu, qua đó tiết kiệm chi phí và thiết kế kiến trúc hiệu quả hơn.

#vector-search #digitalocean #ai-inference Source

freeCodeCamp1 Hot18 min2 d agoAI

From Mixtral to Kimi K3: How Mixture-of-Experts Models Evolved

MoE models bắt đầu với một số lượng chuyên gia hạn chế, ví dụ Mixtral sử dụng 8 chuyên gia mỗi lớp. Để đạt hiệu suất cao hơn, các nhà nghiên cứu đã mở rộng số chuyên gia lên gần 900 mỗi lớp trong Kimi K3, đồng thời phải giải quyết vấn đề tính sparse và độ ổn định trong quá trình huấn luyện. Các cơ chế nén như cắt bớt chuyên gia ít dùng, lượng tử hóa và phân tích hạng thấp kết hợp với các kỹ thuật ổn định như loss phụ trợ, hệ số capacity và dropout trên router cho phép mô hình vẫn khả thi để huấn luyện mà không giảm hiệu suất. Điều đáng học là khi mở rộng MoE, việc cân bằng tải giữa các chuyên gia và duy trì độ ổn định của router là then chốt để tránh hiện tượng chuyên gia chết hoặc quá tải. Điều này cho thấy, ngoài việc tăng số chuyên gia, đầu tư vào các kỹ thuật nén và ổn định là yếu tố quyết định sự thành công của các mô hình MoE hiện đại.

Bài viết này giúp lập trình viên hiểu cách mô hình Mixture-of-Experts phát triển từ vài chuyên gia đến gần 900 chuyên gia mỗi lớp và các cơ chế nén ổn định.

#llm #deep-learning #gpu Source

Sebastian Raschka49 Hot3 min1 mo agoAI

Kimi K3 Architecture Notes

Bài viết giới thiệu ngắn gọn kiến trúc Kimi K3 với các công nghệ chính như LatentMoE, Kimi Delta Attention, Attention Residuals, NoPE, khả năng đa phương thức (multimodality) và những lựa chọn tối ưu hóa hiệu suất suy luận (inference-efficiency).

Lập trình viên phát triển AI hoặc tích hợp mô hình ngôn ngữ lớn nên đọc để hiểu cách Kimi K3 tối ưu hóa kiến trúc mô hình bằng các kỹ thuật mới như LatentMoE và NoPE, giúp cải thiện hiệu suất tính toán và giảm chi phí trên thiết bị thực tế.

#llm #deep-learning #mixture-of-experts Source

Sebastian Raschka23 Hot2 min22 d agoAI

LLMs From Scratch Reaches 100,000 GitHub Stars

Kho lưu trữ LLMs-from-scratch trên GitHub đã vượt mốc 100.000 lượt star, cung cấp tài liệu học tập toàn diện về xây dựng mô hình ngôn ngữ lớn (LLMs) từ đầu.

Lập trình viên muốn tự xây dựng kiến thức về mô hình ngôn ngữ lớn từ cơ bản đến thực hành, tránh bị phụ thuộc vào các công cụ thương mại và khám phá cách xây dựng AI theo nguyên lý khoa học.

#llm #deep-learning Source

Hacker News55 Hot2 min1 mo agoAI

[2607.11938] Mathematics of Data Science

Bài báo arXiv 2607.11938 giới thiệu phần tóm tắt về lĩnh vực "Toán học của Khoa học Dữ liệu", đề cập đến các nền tảng toán học ứng dụng trong phân tích dữ liệu.

Những kỹ thuật toán và lý thuyết toán học trong bài viết này sẽ giúp bạn hiểu sâu hơn về cách xây dựng mô hình học máy hiệu quả hơn, từ đó tối ưu hóa thời gian và chất lượng dự án của mình.

#machine-learning #data-science #deep-learning Source

LangChain1 Hot5 min3 d agoAI

Applying OpenAI's RAG Strategies

Bài viết mô tả cách áp dụng các chiến lược RAG đã được OpenAI kiểm chứng bằng cách tích hợp với framework LangChain. Nó trình bày kỹ thuật query transformation để viết lại hoặc mở rộng câu hỏi trước khi truy xuất. Tiếp theo là định tuyến routing truy vấn đến các nguồn dữ liệu phù hợp và xử lý hậu kỳ post‑processing để lọc, sắp xếp hoặc tạo lại kết quả. Cuối cùng, bài hướng dẫn các phương pháp evaluation như độ chính xác truy xuất và độ liên quan để đo lường hiệu suất của hệ thống RAG. Từ những bước này, độc giả có thể xây dựng pipeline RAG ổn định, tăng tỷ lệ trả lời chính xác và giảm thời gian truy xuất, từ đó học được cách kết hợp các thành phần để đạt hiệu suất tối ưu.

Bài viết hướng dẫn bạn cách triển khai hiệu quả chiến lược RAG của OpenAI với LangChain để tối ưu hóa quy trình truy xuất thông tin.

#llm #openai #rag Source

Hugging Face36 Hot12 min1 mo agoAI

Newer Models, Same Advantage

Bài đăng trên Hugging Face của Dharma-AI giới thiệu những phiên bản nâng cấp của mô hình với những ưu điểm tương tự như trước.

Lập trình viên nên đọc bài này để hiểu cách các mô hình AI mới nhất trên Hugging Face không chỉ nâng cấp hiệu suất mà còn mở rộng khả năng ứng dụng thực tế cho các dự án AI/ML của riêng họ.

#machine-learning #deep-learning Source

Manticore Search 28.4.4: Faster KNN, better conversational search, easier installs and more faceting controls

Recommended for you

Bình luận

One Language to Rule Them? LINQ, Abstraction, and What's Next

GraphRAG Is an Inference Problem, Not a Database Problem

From Mixtral to Kimi K3: How Mixture-of-Experts Models Evolved

Kimi K3 Architecture Notes

LLMs From Scratch Reaches 100,000 GitHub Stars

[2607.11938] Mathematics of Data Science

Applying OpenAI's RAG Strategies

Newer Models, Same Advantage

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads