Netflix Details Its In-House LLM Serving Platform with Triton and vLLM

DigitalOcean Community1 Hot25 phút17 ngày trướcAI

Cold Start Latency on Serverless Inference: What Actually Happens in Those Few Seconds

Khi chạy mô hình học sâu trên nền tảng serverless như AWS Lambda, Azure Functions hoặc Google Cloud Run, mỗi lần gọi đầu tiên sẽ trải qua giai đoạn cold start khiến latency tăng đáng kể. Latency chủ yếu xuất phát từ thời gian tải image container, giải nén và khởi tạo runtime, đồng thời phải load mô hình từ bộ lưu trữ (S3, Blob Storage) vào RAM, và thời gian này tỷ lệ thuận với kích thước mô hình – ví dụ một mô hình 2 GB có thể cần 3‑5 giây để load. Hệ quả là các request đầu tiên gặp trễ từ vài trăm miligiây (đối với hàm nhẹ) tới vài giây (đối với mô hình lớn), làm giảm trải nghiệm người dùng và gây khó khăn trong các ứng dụng cần phản hồi real‑time như chatbot hoặc xử lý video. Các tối ưu như giảm kích thước mô hình qua quantization hoặc pruning, sử dụng lớp cache /tmp hoặc EFS, bật tính năng provisioned concurrency hoặc AWS Lambda SnapStart, và chọn runtime dựa trên hình ảnh cơ sở nhỏ (distroless, Alpine) có thể cắt giảm cold start xuống dưới 500 ms cho hầu hết các trường hợp. Kết hợp các kỹ thuật trên không chỉ giảm latency mà còn tiết kiệm chi phí do giảm thời gian thực thi và số lần khởi tạo container.

Bài viết giải thích rõ ràng về nguyên nhân gây độ trễ lúc khởi đầu và cách tối ưu hiệu suất cho serverless inference.

#serverless #gpu #digitalocean Nguồn

DigitalOcean Community1 Hot14 phút17 ngày trướcAI

GraphRAG Is an Inference Problem, Not a Database Problem

GraphRAG được ra đời như một phương pháp kết hợp đồ thị kiến thức với Retrieval‑Augmented Generation, nhưng nhiều đội ngũ vẫn lầm tưởng đây là vấn đề chọn cơ sở dữ liệu. Bài viết chứng minh rằngภารado việc chính của GraphRAG nằm ở giai đoạn suy luận của mô hình LLM – thời gian tạo token và truy xuất embedding chiếm hơn 80% latency, trong khi truy vấn đồ thị chỉ chiếm phần nhỏ. Vì vậy, việc đầu tư vào cơ sở dữ liệu đồ thị mạnh mẽ không cải thiện đáng kể hiệu suất; thay vào đó, tối ưu hoá batch inference, quantization và cache kết quả retrieval mới là chìa khóa để giảm chi phí và tăng throughput. Các nhóm phát triển nên tập trung vào kiến trúc suy luận (ví dụ: sử dụng vLLM hoặc TensorRT‑LLM) và thiết kế pipeline reference được cung cấp trong bài, thay vì bỏ thời gian cho việc chọn hoặc tối ưu hoá cơ sở dữ liệu đồ thị. Bài cũng cung cấp con số benchmark cụ thể: trên GPT‑4 Turbo, latency trung bình 180 ms/ request và chi phí khoảng $0,0003 mỗi token khi áp dụng các tối ưu hoá trên.

Bài viết này giúp lập trình viên hiểu GraphRAG là vấn đề suy luận LLM chứ không phải lựa chọn cơ sở dữ liệu, qua đó tiết kiệm chi phí và thiết kế kiến trúc hiệu quả hơn.

#vector-search #digitalocean #ai-inference Nguồn

Modal5 Hot4 phút1 tháng trướcAI

Kimi K3 by Moonshot now available on Modal

Mô hình đa phương thức Kimi K3 của Moonshot, với 2,8 nghìn tỷ tham số, cùng công cụ DFlash speculator tùy chỉnh, đã được triển khai trên nền tảng Modal.

Là người phát triển muốn tối ưu hóa hiệu suất và tính năng AI cho ứng dụng của mình, bạn nên đọc bài này để hiểu cách Kimi K3 và DFlash Speculator của Moonshot có thể giúp cải thiện hiệu năng xử lý đa modal và dự đoán trong các ứng dụng AI hiện đại.

#llm #ai-inference #vllm Nguồn

Medium1 Hot5 phút20 ngày trướcAI

Stop Begging LLMs for JSON: How Grammar-Constrained Decoding Works Under the Hood

Bài viết giải thích tại sao việc nhắc nhở LLM tạo JSON bằng prompt thường thất bại khi tải tăng cao. Nguyên nhân là mô hình chỉ dựa trên xác suất token mà không kiểm tra cú pháp, dẫn đến chuỗi không hợp lệ hoặc thiếu dấu ngoặc. Để khắc phục, tác giả đề xuất sử dụng giải pháp giải mã ràng buộc bởi ngữ pháp, trong đó một máy trạng thái hữu hạn (FSM) được tích hợp vào quá trình chọn token để chỉ cho phép các ký tự tiếp theo hợp lệ với cấu trúc JSON. Kết quả là tỷ lệ JSON lỗi giảm xuống dưới 1% và số lần thử lại giảm đáng kể, đồng thời thời gian sinh ra chuỗi hợp lệ được cải thiện khoảng 20‑30% trong các thử nghiệm tải trọng. Bài học chính là thay vì dựa vào hướng dẫn prompt không ổn định, các nhà phát triển nên áp dụng giải mã ràng buộc bởi ngữ pháp hoặc FSM để tạo ra đầu JSON có đảm bảo độ chính xác và hiệu suất tốt hơn.

Bài này giải thích cách Grammar-Constrained Decoding giúp LLM tạo JSON chính xác mà không cần dùng prompt định dạng.

#python #llm #vllm Nguồn

vLLM1 Hot67 phút21 ngày trướcAI

Exploring Speculative Decoding in vLLM on AMD GPUs

Bài viết hướng dẫn cách áp dụng speculative decoding trong framework vLLM khi chạy trên GPU AMD, giải thích cơ chế draft‑and‑verify và các kỹ thuật hỗ trợ như MTP, EAGLE‑3, DFlash và DSpark. Nó cho thấy việc sử dụng mô hình nháp để dự đoán trước các token rồi xác thực bằng mô hình đích giúp giảm số lần truy cập bộ nhớ và tăng tỷ lệ sử dụng lõi tính toán trên kiến trúc AMD CDNA. Kết quả thực nghiệm cho thấy throughput tăng lên đáng kể (thường gấp 1,5‑2×) và latency giảm khi cấu hình đúng kích thước batch và các tham số tuning cụ thể cho từng kernel. Điều này cho thấy lợi thế của speculative decoding không chỉ phụ thuộc vào thuật toán mà còn vào việc tối ưu hóa phần cứng cụ thể, đặc biệt là việc sử dụng DFlash để tối ưu hoá attention và DSpark để quản lý memory traffic trên GPU AMD. Bài viết nên được đọc nếu bạn muốn áp dụng hoặc cải thiện speculative decoding trên hệ thống AMD và cần tham khảo các bước cấu hình, tuning và benchmark thực tế.

Bài viết này cung cấp hướng dẫn thực tế về speculative decoding trên GPU AMD, giúp lập trình viên tối ưu hóa hiệu suất xử lý mô hình ngôn ngữ.

#amd #ai-inference #vllm Nguồn

ByteByteGo1 Hot6 phút22 ngày trướcAI

EP223: Ollama vs vLLM vs SGLang

Cần chạy các mô hình trọng lượng mở trên máy cá nhân, người dùng thường lựa chọn giữa Ollama, vLLM và SGLang làm engine phục vụ. Mỗi engine có cách xử lý request riêng biệt, từ cách quản lý batch hingga cơ chế phân trang bộ nhớ. Sự khác biệt này dẫn đến hiệu suất và độ trễ khác nhau khi cùng một mô hình được triển khai trên cùng phần cứng. Ollama tende tới đơn giản hóa việc khởi động và tương tác qua command line, trong khi vLLM tập trung tối ưu throughput bằng PagedAttention và SGLang nhấn mạnh linh hoạt trong việc kết hợp các tác vụ tạo và xử lý song song. Do đó, việc chọn engine phù hợp phụ thuộc vào ưu tiên giữa dễ sử dụng, tốc độ xử lý lớn và khả năng tùy chỉnh cao.

Bài viết này giúp lập trình viên hiểu rõ sự khác biệt giữa ba công cụ chính (Ollama, vLLM, và SGLang) để sử dụng mô hình open-weight trên máy tính, từ đó chọn ra giải pháp tối ưu cho nhu cầu của mình.

#git #apache-kafka #ai-inference Nguồn

DigitalOcean Community1 Hot31 phút1 tháng trướcAI

Continuous Batching Improves Your P50 and Can Wreck Your P99: The Measured Tradeoff

Đo lường hiệu năng giữa continuous batching và static batching trên GPU H200 của DigitalOcean cho thấy continuous batching cải thiện P50 nhưng có thể làm tăng P99 do hiện tượng tắc nghẽn (stalls) khi sử dụng chunked prefill.

Lập trình viên muốn tối ưu hóa hiệu suất AI trên GPU nên đọc bài này để hiểu cách batching liên tục vs batching tĩnh ảnh hưởng đến thời gian phản hồi của mô hình, đặc biệt là khi xử lý các trường hợp cực đoan (P99), giúp họ lựa chọn chiến lược batching phù hợp cho ứng dụng của mình.

#gpu #ai-inference #vllm Nguồn

InfoQ1 Hot3 phút26 ngày trướcAI

Netflix Open-Sources Agentic Workflow for Causal Inference

Netflix đã open-source một workflow agentic cho Observational Causal Inference (OCI), giúp giảm bớt công việc thủ công trong phân tích nhân quả. Workflow này sử dụng dữ liệu quan sát và kế hoạch phân tích của người dùng để tự động hóa quá trình suy luận nhân quả.

Lập trình viên chuyên về phân tích dữ liệu hoặc AI nên đọc bài này để khám phá cách xây dựng các hệ thống tự động hóa phân tích nguyên nhân từ dữ liệu quan sát, giúp tiết kiệm thời gian và nâng cao hiệu quả trong việc giải quyết vấn đề causal inference bằng công nghệ agentic.

#open-source #data-science #ai-agents Nguồn

Netflix Details Its In-House LLM Serving Platform with Triton and vLLM

Bạn nhớ được gì?

Đề xuất cho bạn

Bình luận

Cold Start Latency on Serverless Inference: What Actually Happens in Those Few Seconds

GraphRAG Is an Inference Problem, Not a Database Problem

Kimi K3 by Moonshot now available on Modal

Stop Begging LLMs for JSON: How Grammar-Constrained Decoding Works Under the Hood

Exploring Speculative Decoding in vLLM on AMD GPUs

EP223: Ollama vs vLLM vs SGLang

Continuous Batching Improves Your P50 and Can Wreck Your P99: The Measured Tradeoff

Netflix Open-Sources Agentic Workflow for Causal Inference

Một tài khoản, cả hệ sinh thái

8syncdev.com

Khóa học

Luyện code

IELTS

ZUS — IDE AI

mind0

AcoLeads