3 Agents. 3 LLMs. 1 Aging GPU: Engineering Parallel Inference on Bare Metal

Running three different LLMs simultaneously on a single 8GB GPU fails because llama.cpp pre-allocates the full KV cache upfront, causing OOM errors for the second and third processes. The solution is a C++ daemon called lmxd that implements Connection Admission Control (borrowed from 5G/telecom) as a VRAM ledger: it tracks allocated bytes, enforces a 90% cap, and refuses new agent registrations before any GPU allocation is attempted. The daemon also handles KV-cache swapping to host RAM between agent switches, enabling multiple agents to share one GPU context slot. Additionally, a layer streaming technique using two CUDA streams overlaps compute and weight transfer, achieving ~22-32% wall-clock savings on a GTX 1080. The repo ships the admission control daemon and the streaming primitive as separate, composable components.

Nguồn: https://towardsdatascience.com/3-agents-3-llms-1-aging-gpu-engineering-parallel-inference-on-bare-metal. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

JetBrains111 phút5 giờ trướcAI

Your AI Agent Keeps Missing The Real Bottleneck. JetBrains Rider Can Fix It Now.

JetBrains vừa bổ sung kỹ năng dottrace-analyze cho AI Assistant trong Rider 2026.2 EAP 8, giúp AI agent phân tích trực tiếp các snapshot .dtp từ dotTrace thay vì đoán mò bottleneck dựa trên source code. Kết quả benchmark trên 80 lượt chạy và 8 kịch bản .NET cho thấy độ chính xác tăng vọt từ 4.71 lên 8.15/10, đặc biệt cải thiện mạnh mẽ trong trường hợp UI freeze của Avalonia (từ 1.6/10 lên 10/10). Tính năng này yêu cầu subscription dotUltimate hoặc All Products Pack.

Lập trình viên nên đọc bài này vì JetBrains Rider 2026.2 EAP mới giới thiệu công cụ phân tích hiệu suất chính xác hơn bằng cách kết hợp dữ liệu thực tế từ thay vì chỉ dựa vào các dấu hiệu giả định từ mã nguồn, giúp tiết kiệm thời gian và cải thiện hiệu suất ứng dụng một cách đáng kể.