Batch inference on OpenShift AI with llm-d: Architecture, integration, and workflows

The llm-d batch gateway is a Kubernetes-native batch inference service that integrates with Red Hat OpenShift AI to handle high-volume offline LLM workloads. It implements the OpenAI-compatible /v1/batches and /v1/files API, allowing existing clients to target private clusters with minimal configuration changes. The architecture shares GPU resources and model pods with interactive traffic while maintaining separate routing, security policies, and concurrency controls. Key design decisions include disk-backed execution plans for bounded memory, PrefixHash-ordered request dispatch to improve KV cache hit rates, two-level concurrency semaphores to prevent batch jobs from starving interactive requests, and startup recovery via PostgreSQL state reconciliation. Security is handled through Kubernetes TokenReview, SubjectAccessReview-based RBAC, and token-level rate limiting via Red Hat Connectivity Link. Common use cases include model evaluation, dataset scoring, embedding generation at scale, and differential pricing for batch vs. interactive traffic.

Nguồn: https://developers.redhat.com/articles/2026/07/02/batch-inference-openshift-ai-llm-d. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

Percona Blog11 Hot6 phút1 ngày trướcAI

Why I haven’t run my databases on Kubernetes

Bài viết phân tích và bác bỏ những lo ngại phổ biến khi chạy cơ sở dữ liệu trên Kubernetes như quản lý workloads stateful, an toàn dữ liệu khi pod/node gặp sự cố, hiệu suất overhead và độ phức tạp vận hành. Tác giả cho rằng Kubernetes đã trưởng thành với StatefulSets, PersistentVolumes, CSI cùng Operators giúp tự động hóa các thao tác Day-2 phức tạp, khiến hầu hết các phản đối trước đây không còn hợp lệ.

Lập trình viên nên đọc bài này để hiểu cách Kubernetes hiện đại đã giải quyết những lo ngại truyền thống về quản lý cơ sở dữ liệu, từ việc bảo mật dữ liệu trong các sự kiện thất bại đến tối ưu hóa hiệu suất và tự động hóa các công việc vận hành phức tạp.

#kubernetes