Scaling Decision Optimization to 100 Million Variables and Beyond with mPDLP in NVIDIA cuOpt

GitHub Blog3 Hot10 min21 h agoAI

Building Git infrastructure for agent-scale development

Sự gia tăng các thao tác write đang đặt áp lực lên các hệ thống mà mọi repository đều phụ thuộc. Vấn đề kỹ thuật chính là cách xử lý lượng requests Git ngày càng tăng, đặc biệt với sự phát triển của agent-scale development. Hệ quả bao gồm tình trạng latency cao và risk of system failure khi quy mô mở rộng. Giải pháp của họ bao gồm implementing sharding strategy và sử dụng Git LFS để giảm tải cho servers. Điều đáng học là việc tối ưu hóa Git infrastructure cần kết hợp cả cải tiến kỹ thuật lẫn thiết kế hệ thống phân tán.

Bài viết này giúp lập trình viên hiểu cách xây dựng hạ tầng Git có khả năng mở rộng để phát triển trên quy mô lớn của các tác nhân.

#github #azure #git Source

Medium20 Hot18 min1 d agoAI

I Built a Distributed Task Queue from Scratch with Go and PostgreSQL

Tác giả đã xây dựng Dhara, một distributed task queue bằng Go sử dụng PostgreSQL làm queue duy nhất và nguồn sự thật thực tế. Sử dụng replication của PostgreSQL để đảm bảo high availability và các WAL (Write-Ahead Logging) để đảm bảo data consistency. Cấu trúc hiện tại hỗ trợ tới 5,000 tasks mỗi giây với độ trễ chỉ 10ms. Điều đáng học hỏi là việc tối ưu hóa connection pooling và cách tận dụng tính năng built-in của database để giảm dependency hệ thống.

Bài này giúp bạn hiểu cách xây dựng hàng đợi tác vụ phân tạp hiệu quả với Go và PostgreSQL mà không cần các hệ thống lưu trữ phụ.

#go #postgresql #distributed-systems Source

NVIDIA Developer1 Hot8 min1 d agoAI

Control How Your GPU Shares Work with Green Contexts

GPU ngày càng phải xử lý nhiều thành phần độc lập trong cùng một process, với các operator nhạy cảm độ trễ và các tác vụ heavy-weight chạy song song. Vấn đề nảy sinh khi GPU scheduler hiện tại (như CUDA's Concurrent Kernel Execution) không phân biệt rõ rệt giữa các context, dẫn đến tình trạng operator nhạy cảm độ trễ bị block bởi các tác vụ nặng. Hệ quả là hiệu năng của các ứng dụng real-time giảm đáng kể, có thể lên đến 30-40% độ trễ tăng thêm. Green Contexts là giải pháp từ Microsoft Research cho phép lập trình viên tách biệt các tác vụ thành các context ưu tiên khác nhau, qua đó kiểm soát chính xác GPU allocation và cải thiện đáng kể hiệu năng cho các ứng dụng đa thành phần.

Bài viết này giúp lập trình viên tối ưu hóa hiệu suất GPU bằng cách kiểm soát cách chia sẻ công việc giữa các thành phần khác nhau trong cùng một tiến trình.

#performance #nvidia #gpu Source

Machine Learning Mastery1 Hot5 min1 d agoAI

Synchronous vs. Asynchronous Agent Execution: Architecture Patterns for Production

Bối cảnh triển khai LLM-based agent đến production phải chọn giữa synchronous (chặn xử lý) và asynchronous (không chờ) execution. Synchronous pattern gặp rủi ro timeout như giới hạn 29-second của AWS API Gateway với tác vụ dài, trong khi asynchronous dùng job queues, background workers và checkpointing để tách biệt tác vụ. Hệ quả là asynchronous yêu cầu cơ sở hạ tầng phức tạp hơn như RabbitMQ, Redis, PostgreSQL hay MongoDB để quản lý trạng thái worker. Điều đáng học là bắt đầu với synchronous cho tác vụ nhanh như question-answering, sau đó migrate sang asynchronous khi workflow phức tạp hơn, như minh họa trong code examples sử dụng Python's asyncio.

Bài viết này giúp lập trình viên hiểu rõ hai mẫu kiến trúc triển khai agent LLM vào production để lựa chọn phù hợp với quy mô và yêu cầu ứng dụng.

#python #career #ai-agent Source

The T-Shaped Dev16 Hot9 min4 d agoAI

Saved the Order, Lost the Event: Why You Need the Outbox Pattern

Trong hệ thống phân tán, vấn đề "save-then-publish" có thể gây mất sự kiện (event) mà không ghi log lỗi nào. Nguyên nhân kỹ thuật là transaction database và message broker hoạt động độc lập, dẫn đến tình trạng message bị drop dù insert thành công. Hệ quả là các subscriber không nhận được event cần thiết, làm hỏng tính toàn vẹn dữ liệu. Pattern Outbox + Inbox sử dụng cùng một transaction để lưu cả event và dữ liệu vào database, đảm bảo không mất sót message, thực hiện hiệu quả với Postgres và Node.js.

Bài này giải thích cách tránh mất sự kiện khi lưu trữ dữ liệu bằng pattern Outbox trong Postgres và Node.js.

#nodejs #postgresql #distributed-systems Source

Hackaday2 Hot3 min3 d agoAI

AI On Your Gaming PC

Strata cho phép mô hình LLM 125 tỷ tham số chạy trên phần cứng gaming-grade với sự hỗ trợ của Qwen3.8 mixture-of-experts 24,576 chuyên gia chỉ kích hoạt 10 chuyên gia mỗi token. VRAM hoạt động như cache cho chuyên gia được sử dụng thường xuyên, phần lớn mô hình nằm trong RAM, và bảng tra cứu 29 GB nằm trên SSD. Kỹ thuật speculative decoding giúp đạt tốc độ 50-90 token/giây trên RTX 5070 12 GB VRAM. Dù có API tương thích OpenAI và Anthropic, chất lượng trả lời còn hạn chế so với các mô hình lớn hơn, với yêu cầu thực tế khoảng 32 GB RAM, 12 GB VRAM và 80 GB lưu trữ.

Bài viết này giúp bạn hiểu cách triển khai AI quy mô lớn trên máy tính cá nhân mà không cần GPU chuyên dụng từ trung tâm dữ liệu.

#gpu #local-ai #mixture-of-experts Source

Google Developers37 Hot1 min15 d agoAI

Colab is now part of your Google AI plan

Google vừa tích hợp Colab vào Google AI plan, mang lại lợi ích cao cấp cho người đăng ký. Các lập trình viên giờ đây có truy cập vào faster accelerators và Premium GPUs để tăng tốc độ xử lý. Đặc biệt, tính năng uninterrupted background execution cho phép chạy training kéo dài mà không bị gián đoạn. Đây là bước đi chiến lược giúp Google củng cố vị thế trong việc cung cấp công cụ AI cho nhà phát triển.

Bài viết giúp lập trình viên biết cách tận dụng Colab trong Google AI plan với các tính năng cao cấp để tăng tốc độ và hiệu quả công việc AI.

#machine-learning #data-science #gpu Source

Surfing Complexity3 Hot4 min3 d agoAI

Quick thoughts on GitHub’s Sept 23 incident

Vào ngày 23 tháng 9, GitHub đã gặp sự cố với tỷ lệ lỗi 500 và 404 tăng cao trên nhiều trang ứng dụng, bắt đầu từ 07:57 UTC. Nguyên nhân kỹ thuật được cho đến từ vấn đề về routing và phân phối tải (traffic routing) dẫn đến việc không thể định tuyến đúng đến các trang cụ thể. Sự cố này gây ra các trang hiển thị lỗi 404 và lỗi 500 trên nhiều tính năng của GitHub, ảnh hưởng đến trải nghiệm người dùng. Điều đáng học hỏi là ngay cả các nền tảng lớn như GitHub cũng có thể gặp sự cố về routing traffic, nhấn mạnh tầm quan trọng của hệ thống giám sát và dự phòng.

Bài viết cung cấp phân tích ngắn gọn về sự cố GitHub ngày 23/9 giúp lập trình viên hiểu rõ nguyên nhân và bài học từ sự cố này.

#github #database #distributed-systems Source

Scaling Decision Optimization to 100 Million Variables and Beyond with mPDLP in NVIDIA cuOpt

Recommended for you

Bình luận

Building Git infrastructure for agent-scale development

I Built a Distributed Task Queue from Scratch with Go and PostgreSQL

Control How Your GPU Shares Work with Green Contexts

Synchronous vs. Asynchronous Agent Execution: Architecture Patterns for Production

Saved the Order, Lost the Event: Why You Need the Outbox Pattern

AI On Your Gaming PC

Colab is now part of your Google AI plan

Quick thoughts on GitHub’s Sept 23 incident

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads