Restore LLM Inference Capacity in Seconds with Shadow Engine Recovery in NVIDIA Dynamo

GitHub Changelog42 Hot1 min26 d agoAI

GitHub Models is now retired

GitHub Models đã ngừng hoạt động hoàn toàn kể từ ngày 30 tháng 7 năm 2026, bao gồm playground, danh mục model, API inference và tính năng BYOK. Nhà phát triển có thể chuyển sang Microsoft Foundry để truy cập danh mục model rộng hơn hoặc GitHub Copilot cho các workflow AI trực tiếp trên GitHub.

Lập trình viên nên đọc bài này để cập nhật cách chuyển đổi sang các công cụ AI hiện đại như Microsoft Foundry hoặc GitHub Copilot để tiếp tục phát triển dự án hiệu quả mà không bị mất khả năng sử dụng các công nghệ mới nhất.

#github #azure #ai-inference Source

vLLM1 Hot67 min2 d agoAI

Exploring Speculative Decoding in vLLM on AMD GPUs

Bài viết hướng dẫn cách áp dụng speculative decoding trong framework vLLM khi chạy trên GPU AMD, giải thích cơ chế draft‑and‑verify và các kỹ thuật hỗ trợ như MTP, EAGLE‑3, DFlash và DSpark. Nó cho thấy việc sử dụng mô hình nháp để dự đoán trước các token rồi xác thực bằng mô hình đích giúp giảm số lần truy cập bộ nhớ và tăng tỷ lệ sử dụng lõi tính toán trên kiến trúc AMD CDNA. Kết quả thực nghiệm cho thấy throughput tăng lên đáng kể (thường gấp 1,5‑2×) và latency giảm khi cấu hình đúng kích thước batch và các tham số tuning cụ thể cho từng kernel. Điều này cho thấy lợi thế của speculative decoding không chỉ phụ thuộc vào thuật toán mà còn vào việc tối ưu hóa phần cứng cụ thể, đặc biệt là việc sử dụng DFlash để tối ưu hoá attention và DSpark để quản lý memory traffic trên GPU AMD. Bài viết nên được đọc nếu bạn muốn áp dụng hoặc cải thiện speculative decoding trên hệ thống AMD và cần tham khảo các bước cấu hình, tuning và benchmark thực tế.

Bài viết này cung cấp hướng dẫn thực tế về speculative decoding trên GPU AMD, giúp lập trình viên tối ưu hóa hiệu suất xử lý mô hình ngôn ngữ.

#amd #ai-inference #vllm Source

ByteByteGo1 Hot6 min3 d agoAI

EP223: Ollama vs vLLM vs SGLang

Cần chạy các mô hình trọng lượng mở trên máy cá nhân, người dùng thường lựa chọn giữa Ollama, vLLM và SGLang làm engine phục vụ. Mỗi engine có cách xử lý request riêng biệt, từ cách quản lý batch hingga cơ chế phân trang bộ nhớ. Sự khác biệt này dẫn đến hiệu suất và độ trễ khác nhau khi cùng một mô hình được triển khai trên cùng phần cứng. Ollama tende tới đơn giản hóa việc khởi động và tương tác qua command line, trong khi vLLM tập trung tối ưu throughput bằng PagedAttention và SGLang nhấn mạnh linh hoạt trong việc kết hợp các tác vụ tạo và xử lý song song. Do đó, việc chọn engine phù hợp phụ thuộc vào ưu tiên giữa dễ sử dụng, tốc độ xử lý lớn và khả năng tùy chỉnh cao.

Bài viết này giúp lập trình viên hiểu rõ sự khác biệt giữa ba công cụ chính (Ollama, vLLM, và SGLang) để sử dụng mô hình open-weight trên máy tính, từ đó chọn ra giải pháp tối ưu cho nhu cầu của mình.

#git #apache-kafka #ai-inference Source

DigitalOcean Community1 Hot22 min5 d agoAI

Choosing an Inference Provider for AI Agents: Latency, Tool Calling, and Cost per Task

So sánh các provider inference AI dựa trên độ trễ, khả năng tool calling, độ tin cậy và chi phí trên mỗi tác vụ hoàn thành để chọn provider phù hợp cho tác vụ của bạn.

Bài viết này giúp bạn chọn nhà cung cấp dịch vụ AI inference tối ưu nhất cho tác vụ cụ thể của mình dựa trên độ trễ, khả năng gọi công cụ và chi phí hiệu quả.

#llm #ai-agents #digitalocean Source

freeCodeCamp1 Hot14 min8 d agoAI

How to Scale LLM Inference for AI Agents Using vLLM

Bài viết hướng dẫn cách mở rộng (scale) quá trình suy luận (inference) của mô hình ngôn ngữ lớn (LLM) cho các tác nhân AI (AI agents) bằng thư viện vLLM, đồng thời giải thích cơ chế hoạt động của LLM inference và thách thức trong việc lập lịch GPU khi xử lý khối lượng công việc của agent.

Làm việc với các ứng dụng AI agent đòi hỏi phải tối ưu hóa hiệu suất và chi phí sử dụng GPU, và bài này cung cấp cách hiệu quả sử dụng vLLM để xử lý các yêu cầu inference lớn, giúp bạn tiết kiệm thời gian và nguồn lực khi phát triển hệ thống AI quy mô lớn.

#ai-agents #gpu #ai-inference Source

AWS1 Hot2 min8 d agoAI

Amazon Bedrock expands API support and introduces Cross Region Inferencing for OpenAI models

Amazon Bedrock vừa mở rộng hỗ trợ API và giới thiệu tính năng Cross Region Inferencing cho các mô hình OpenAI.

Lập trình viên cần hiểu về Cross-Region Inferencing để tối ưu hóa ứng dụng AI của mình hoạt động ở nhiều vùng AWS khác nhau mà không gặp rào cản về thời gian chờ hoặc chi phí, giúp phát triển ứng dụng toàn cầu hiệu quả hơn.

#cloud #aws #openai Source

The Next Web1 Hot4 min8 d agoAI

A Beijing bar swapped free Wi-Fi for free DeepSeek tokens

Quán bar AGI Bar ở khu công nghệ Trung Quan Thôn, Bắc Kinh cung cấp token DeepSeek miễn phí thay vì Wi-Fi, tự vận hành mô hình trên hai máy trạm Nvidia. Đây là biểu tượng cho sự bùng nổ AI tại Trung Quốc và những lo ngại về bong bóng công nghệ.

Một lập trình viên nên đọc bài này để hiểu cách các công ty và cộng đồng AI đang chuyển đổi từ cơ sở hạ tầng truyền thống sang mô hình tự chủ, tự động hóa bằng các mô hình ngôn ngữ lớn, và xem xét những thách thức về chi phí, hiệu suất cũng như tương lai của các nền tảng AI mở trong thời đại phát triển nhanh chóng của công nghệ.

#ai-inference #deepseek Source

sean goedecke17 Hot6 min2 mo agoAI

AI inference is obviously profitable

Phân tích chi phí sơ lược cho thấy suy luận (inference) AI thực sự sinh lời, với chi phí ước tính khoảng 1 USD cho mỗi triệu token đầu ra, thấp hơn nhiều so với mức giá 4,5 USD trở lên của các nhà cung cấp như OpenAI, qua đó đạt biên lợi nhuận gộp 70–80%. Suy luận AI có lợi nhuận, nhưng các phòng thí nghiệm AI như OpenAI và Anthropic sử dụng khoản lợi nhuận này để bù đắp chi phí đào tạo mô hình tốn kém.

Là người phát triển muốn tối ưu chi phí cho ứng dụng AI của mình, bài viết này giúp bạn hiểu rõ về lợi nhuận thực tế của quá trình inference AI, từ đó có thể xây dựng mô hình kinh doanh hiệu quả và tránh bỏ lỡ cơ hội tiết kiệm chi phí mà không phụ thuộc vào sự hỗ trợ từ các công ty lớn.

#llm #openai #gpu Source

Restore LLM Inference Capacity in Seconds with Shadow Engine Recovery in NVIDIA Dynamo

Recommended for you

Bình luận

GitHub Models is now retired

Exploring Speculative Decoding in vLLM on AMD GPUs

EP223: Ollama vs vLLM vs SGLang

Choosing an Inference Provider for AI Agents: Latency, Tool Calling, and Cost per Task

How to Scale LLM Inference for AI Agents Using vLLM

Amazon Bedrock expands API support and introduces Cross Region Inferencing for OpenAI models

A Beijing bar swapped free Wi-Fi for free DeepSeek tokens

AI inference is obviously profitable

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads