Đang tải bảng tin…
Daily Dose of Data Science | Avi Chawla | Substack1 Hot0 bình luận6 phút đọc
How LLM Routing Actually Works in Production
Tóm tắt bởi AI
Việc định tuyến LLM trong sản xuất phức tạp hơn việc phân loại đơn giản, do chi phí ẩn từ caching prompt: nhà cung cấp giảm ~90% phí cho token đã xem, nhưng cache này chỉ áp dụng riêng cho từng model. Nếu router chuyển model giữa chừng, cache sẽ mất và toàn bộ ngữ cảnh phải trả phí "lạnh", triệt tiêu lợi ích tiết kiệm. Giải pháp là "model affinity" – định tuyến một lần cho mỗi tác vụ và ghim model vào session ID để cache giữ ấm. Quy trình sản xuất đầy đủ gồm 4 giai đoạn: lọc rào cản an toàn, model định tuyến nhỏ, chính sách chọn lựa chi phí/tốc độ, và ghim model affinity. Open-source proxy Plano triển khai quy trình này với cấu hình YAML và sử dụng Arch-Router (1.5B model) để đưa ra quyết định dựa trên dữ liệu ưu tiên của người dùng.
Vì sao nên đọc: Lập trình viên cần đọc để hiểu cách tối ưu hóa chi phí và hiệu suất của hệ thống xử lý LLM bằng cách tránh mất cache giữa các yêu cầu, từ đó giảm thiểu chi phí không mong muốn và cải thiện trải nghiệm thực tế khi triển khai.
Bạn nhớ được gì?
Trả lời 3 câu hỏi ngắn để nhận điểm thưởng cho bài này. Chỉ làm khi bạn muốn lấy điểm.
tối đa +17 điểm
3 câu hỏi · dưới một phút · không bắt buộc
Nguồn: https://blog.dailydoseofds.com/p/how-llm-routing-actually-works-in. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Đề xuất cho bạn
Medium1 Hot17 phútAI
Building a hybrid demand forecasting service: classical ML for the number, an LLM for the why
Bài viết đề xuất thiết kế một dịch vụ dự báo nhu cầu bán lẻ kết hợp mô hình học máy cổ điển (XGBoost/LightGBM) cho dự đoán số liệu cùng LLM để giải thích bằng ngôn ngữ tự nhiên. Tác giả thảo luận hai thách thức: rò rỉ dữ liệu trong phân chia train/test cho chuỗi thời gian và thiếu bộ dữ liệu kết hợp chuỗi nhu cầu với văn bản phong phú, đồng thời đề xuất các chiến lược dữ liệu và phương pháp đánh giá (TimeSeriesSplit, MASE) cho cả hai phần. Kiến trúc đề xuất sử dụng Microsoft Fabric/OneLake, Azure ML và Foundry Agent Service, nhưng lưu ý đây chỉ là bản thiết kế chưa triển khai thực tế.
Những lập trình viên xây dựng hệ thống dự báo doanh số thực tế sẽ tìm hiểu cách kết hợp ML truyền thống và LLM để tránh lỗi phân chia dữ liệu thời gian và tối ưu hóa giải thích cho người dùng mà không cần phải xây dựng từ scratch lại.
