#litellm

Respan spent two years building on LiteLLM. One upgrade made it start over.

Respan đã đầu tư hai năm để phát triển trên nền tảng LiteLLM trước khi quyết định xây dựng lại AI gateway bằng Rust với một lõi plugin nhỏ. Sau khi áp dụng 100,000 dòng vá lỗi cho LiteLLM, team nhận thấy kiến trúc cũ không còn phù hợp. Việc nâng cấp khiến Respan phải bắt đầu lại từ đầu với hệ thống mới. Custom plugins trong Rust vẫn đòi hỏi người dùng phải tự biên dịch code riêng. Bài viết cung cấp bài học giá trị về việc cân nhắc tái kiến trúc khi dự án phát triển quá phức tạp.

Bài viết tiết lộ bài học đắt giá về tầm quan trọng của việc lựa chọn kiến trúc linh hoạt khi xây dựng hệ thống AI gateway lâu dài.

When Your AI Gateway Turns on You: The LiteLLM Supply-Chain Attack

When Your AI Gateway Turns on You: The LiteLLM Supply-Chain Attack A poisoned release of the popular AI gateway stole cloud keys, provider API keys and database secrets, and it ran whenever Python …

New Evidence Shows LiteLLM Secret-Stealing Workflows Ran 11 Days Before Supply Chain Attack

Socket đã phát hiện các secret-stealing workflows chạy trong repository GitHub của LiteLLM cách 11 ngày trước vụ tấn công chuỗi cung ứng trên PyPI và Docker. Nguyên nhân kỹ thuật là do các malicious workflows này lợi dụng quyền truy cập CI/CD để đánh cắp API keys. Hệ quả là tin tặc đã sử dụng những thông tin đánh cắp này để thực hiện tấn công chuỗi cung ứng. Điều đáng học là việc giám sát hoạt động trong CI/CD pipeline và sử dụng các công cụ như Socket có thể phát hiện sớm các hành vi độc hại trước khi chúng gây ra thiệt hại.

Bài viết tiết lộ bằng chứng cho thấy kẻ tấn công đã âm mưu chiếm đoạt bí mật trong LiteLLM trước 11 ngày, giúp lập trình viên hiểu và phòng ngừa nguy cơ tấn chuỗi cung ứng tương tự.

The internet is having a very bad cybersecurity day

From AI-discovered PHP vulnerabilities to flaws in Node.js and popular AI tool LiteLLM, cybersecurity teams have plenty to worry about this week.

LiteLLM compromised: infostealer and RAT in PyPI 1.107.0

LiteLLM 1.107.0 contains an infostealer and RAT, and PyPI has quarantined the package. See if you’re affected, what it steals, and what to rotate.

LLM Proxy Setup with LiteLLM: Keys, Logs, and Fallbacks

Deploy a LiteLLM proxy with Docker Compose to issue virtual keys, log requests, and route across providers with fallback handling and spend tracking.

9 Best AI Gateways in 2026: Bifrost, Portkey, LiteLLM, Kong and 5 More Ranked

Bối cảnh: Bài viết xếp hạng 9 AI gateway hàng đầu năm 2026 cho các team sản xuất, bao gồm Bifrost, Portkey, LiteLLM, Kong và 5 công nghệ khác. Nguyên nhân kỹ thuật: Các giải pháp được đánh giá dựa trên độ trễ (latency), chính sách giá, giấy phép, quản trị và khả năng triển khai. Hệ quả: Kết quả giúp lập trình viên lựa chọn gateway phù hợp với nhu cầu cụ thể về hiệu năng và chi phí. Điều đáng học: Bài viết cung cấp số liệu so sánh chi tiết giữa các công nghệ, giúp tối ưu hóa kiến trúc AI infrastructure cho ứng dụng production.

Bài này giúp lập trình viên so sánh và lựa chọn được AI Gateway phù hợp nhất cho dự án của họ dựa trên tiêu chí quan trọng như độ trễ, chi phí và khả năng triển khai.

LiteLLM flaws let low-privileged users hijack AI gateway and steal provider keys

Check Point Research phát hiện hai lỗ hổng nghiêm trọng trong LiteLLM, gateway AI nguồn mở được tải khoảng 97 triệu lần mỗi tháng. CVE-2026-35029 là lỗi kiểm tra ủy quyền thiếu trên endpoint /config/update, cho phép bất kỳ người dùng đã đăng nhập đọc tệp tùy ý, chiếm quyền tài khoản admin hoặc thực thi mã từ xa qua các endpoint pass-through độc hại. CVE-2026-59823 là lỗi SSRF trong tính năng Clientside LLM Credentials, cho phép người dùng đã xác thực chuyển hướng API key provider đến máy chủ do kẻ tấn công kiểm soát. Cả hai lỗ hổng này đã được vá trong phiên bản 1.83.9, nhưng nghiên cứu còn phát hiện hash mật khẩu không có salt và chỉ một lần lặp lại bị lộ cho người dùng có quyền hạn thấp.

Các lỗ hổng LiteLLM cho phép kẻ tấn công chiếm đoạn cổng AI và đánh cắp khóa nhà cung cấp.

When LLM Gateways Go Wrong: Findings from LiteLLM

Latest Research by our Team

Poetry is the new AI security threat as PoeLLM malware infects 3K+ servers

Bối cảnh: Poetry, công nghệ quản lý dependency cho Python, đang trở thành công cụ tấn công mới với malware PoeLLM đã lây nhiễm hơn 3000 server. Nguyên nhân kỹ thuật: kẻ tấn công lợi dụng tính năng auto-install của Poetry để tải thư viện độc hại PoeLLM, sử dụng kỹ thuật obfuscation code để tránh phát hiện. Hệ quả: các server bị nhiễm có thể bị đánh cắp dữ liệu, cài backdoor, và trở thành node trong botnet. Điều đáng học: nhà phát triển cần kiểm tra kỹ package source và sử dụng poetry lock để tránh dependency hijacking.

Lập trình viên nên đọc bài này để hiểu cách các malware sử dụng các mô hình ngôn ngữ lớn như PoeLLM để lẩn trốn trong các mã nguồn và hệ thống, giúp bảo mật phát triển các giải pháp chống lại những cuộc tấn công mới từ AI.

What the LiteLLM Breach Teaches Us About Securing LLM Gateways

LiteLLM đã bị tấn công chuỗi cung ứng do trình quét bảo mật bị đầu độc, cho thấy lỗ hổng trong hệ thống gateway LLM. Kẻ tấn công đã đánh cắp các khóa API của các dịch vụ LLM lớn như OpenAI, Anthropic và Cohere, dẫn đến hiện tượng LLMjacking. Thiệt hại ước tính lên tới hàng triệu đô la khi kẻ xấu sử dụng các khóa bị đánh cắp để truy cập và lạm dụng dịch vụ LLM. Bài viết đề xuất 7 biện pháp kiểm soát để hạn chế thiệt hại, bao gồm việc kiểm soát truy cập API, giám sát giao dịch bất thường và xác thực lại các khóa định kỳ.

Bài này tiết lộ cách tấn công chuỗi cung ứng LiteLLM và bảy biện pháp bảo vệ hữu hiệu cho cổng LLM.

I Compared 5 LLM Gateway Tools for Real-World Production Use

Khi triển khai ứng dụng LLM cho người dùng thực tế, việc gọi model API thường không khó nhưng Gateway tools mới là thách thức lớn. Tác giả đã đánh giá 5 công cụ gateway (LLM Gateway, LLamaIndex, BentoML, FastAPI và Pinecone) dựa trên latency, throughput, cost và features. Kết quả cho thấy LLamaIndex có latency cao nhất trong khi LLM Gateway đạt hiệu năng tốt nhất với throughput 3,500 requests/phút và chỉ 20ms latency. Bài viết giúp lập trình viên hiểu rõ trade-off khi lựa chọn gateway solution, đặc biệt là giữa tối ưu hiệu năng và sự linh hoạt trong thiết kế.

Bài này giúp lập trình viên chọn được công cụ LLM Gateway phù hợp cho môi trường production thực tế.

Migrating from closed to open source models, Together

Moving from closed to open source models can take weeks, not years. A five-stage playbook: discover, evaluate, adapt, decide, and production.

AI and Token Cost Management on Kubernetes: Attributing Inference Spend to Teams

Learn token cost attribution Kubernetes teams can use to track inference and token costs by team, model, and namespace.