I don’t pay for Perplexity or ChatGPT after combining my local LLMs with Perplexica and SearXNG

Bài viết mô tả cách tác giả giảm chi phí trả phí cho Perplexity và ChatGPT bằng cách chạy các mô hình LLM cục bộ và kết hợp chúng với công cụ tìm kiếm Perplexica và SearXNG. Ban đầu ông ta sử dụng Perplexica – một lớp wrapper xung quanh các API tìm kiếm công khai – để cung cấp ngữ cảnh thời gian thực cho các truy vấn, đồng thời triển khai SearXNG như một meta‑search engine tự host để tránh phụ thuộc vào dịch vụ bên thứ ba. Các mô hình LLM cục bộ (ví dụ: Llama 2 7B hoặc Mistral 7B) được tải xuống và chạy qua Ollama, sau đó được truy vấn qua Perplexica để lấy đoạn trích mới nhất từ web trước khi sinh câu trả lời. Kết quả là thời gian trả lời trung bình giảm từ khoảng 2,5 giây (khi dùng Perplexity trả phí) xuống dưới 1,2 giây, đồng thời mức độ cũ hoá của thông tin giảm hơn 80 % vì dữ liệu luôn được lấy trực tiếp từ chỉ số tìm kiếm hiện tại. Điều mà các lập trình viên có thể rút ra là việc kết hợp LLM cục bộ với một pipeline tìm kiếm tự host không chỉ tiết kiệm chi phí đăng ký mà còn kiểm soát được độ mới và quyền riêng dữ liệu, miễn là sẵn sàng đầu vào thời gian để thiết lập và duy trì môi trường Ollama‑Perplexica‑SearXNG.