Static vs. Dynamic vs. Continuous Batching in LLMs, clearly explained!

Building a Multi-Provider RAG Chatbot: LangChain, Python FastAPI, Hugging Face, Convex, Docker, Terraform & GCP

Bối cảnh: tác giả muốn xây dựng một chatbot RAG có thể thay đổi nhà cung cấp mô hình và vector store để tránh phụ thuộc vào một dịch vụ duy nhất. Nguyên nhân kỹ thuật: việc kết hợp LangChain để quản lý pipeline retrieval‑augmented generation, FastAPI để tạo API REST, Hugging Face để tải các mô hình LLM và embedding, Convex làm cơ sở dữ liệu real‑time, đồng thời dùng Docker để đóng gói từng service và Terraform trên GCP để cung cấp hạ tầng. Hệ quả: sau khi triển khai, hệ thống cho phép thay đổi mô hình LLM chỉ bằng cách sửa biến môi trường mà không cần rebuild code, thời gian phản hồi trung bình khoảng 800 ms và chi phí infra giảm khoảng 30 % so với bản triển khai đơn nhà cung cấp. Điều đáng học: việc tách rõ lớp orchestration (LangChain) khỏi lớp giao thức (FastAPI) và lớp hạ tầng (Terraform/Docker) giúp duy trì tính mô-đun và dễ dàng kiểm thử từng thành phần riêng lẻ. Kết luận: dự án này minh họa cách áp dụng các công cụ hiện đại để xây dựng một RAG chatbot linh hoạt, khả năng mở rộng và dễ vận hành trên nền tảng đám mây.