Amazon SageMaker HyperPod now supports disaggregated prefill and decode

Amazon SageMaker HyperPod now supports Disaggregated Prefill and Decode (DPD), an inference optimization that separates the prefill and decode phases of LLM inference onto dedicated GPU pools. KV cache is transferred between pools over EFA using GPU-Direct RDMA. This eliminates resource contention where long-context requests stall token generation for concurrent requests. DPD enables independent scaling of prefill and decode capacity, delivers more consistent per-token latency, and higher goodput at strict latency SLOs. An intelligent router automatically directs long-context requests through the disaggregated path while sending shorter prompts directly to the decoder. It is enabled via a pdSpec section in the existing InferenceEndpointConfig custom resource and is composable with existing KV cache offloading and routing features. Available on EKS-orchestrated HyperPod clusters on EFA-capable instances across all supported AWS regions.

Nguồn: https://aws.amazon.com/about-aws/whats-new/2026/7/amazon-sagemaker-hyperpod-dpd. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

sean goedecke17 Hot6 phút10 ngày trướcAI

AI inference is obviously profitable

Phân tích chi phí sơ lược cho thấy suy luận (inference) AI thực sự sinh lời, với chi phí ước tính khoảng 1 USD cho mỗi triệu token đầu ra, thấp hơn nhiều so với mức giá 4,5 USD trở lên của các nhà cung cấp như OpenAI, qua đó đạt biên lợi nhuận gộp 70–80%. Suy luận AI có lợi nhuận, nhưng các phòng thí nghiệm AI như OpenAI và Anthropic sử dụng khoản lợi nhuận này để bù đắp chi phí đào tạo mô hình tốn kém.

Là người phát triển muốn tối ưu chi phí cho ứng dụng AI của mình, bài viết này giúp bạn hiểu rõ về lợi nhuận thực tế của quá trình inference AI, từ đó có thể xây dựng mô hình kinh doanh hiệu quả và tránh bỏ lỡ cơ hội tiết kiệm chi phí mà không phụ thuộc vào sự hỗ trợ từ các công ty lớn.

#llm