The 13-Second Request

A flaky automation test that failed intermittently for two months turned out to be a resource contention problem in a shared test environment, not a frontend regression. The investigation revealed that a 13-second request was only executing for ~0.5 seconds — the remaining 12.5 seconds were spent waiting on shared downstream dependencies like address lookups and DB connections. The root cause was a combination of doubled test environment traffic and heavier pages with more backend calls per request, which together pushed shared resources into a queueing bottleneck. The key insight: execution time and response time are not the same thing, and slow waiting requires a fundamentally different investigation approach than slow execution.

Nguồn: https://medium.com/@sargun.kohli152/the-13-second-request-ca08a822517d. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

Hacker News1 Hot5 phút14 giờ trướcAI

Mesh LLM: distributed AI computing on iroh

Mesh LLM là giải pháp tính toán AI phân tán, gom cụm GPU từ nhiều máy thành một API tương thích OpenAI duy nhất, chạy trên nền tảng iroh (thư viện mạng ngang hàng). Hệ thống sử dụng giao thức QUIC, hỗ trợ chia sẻ mô hình (kể cả MoE 235B) qua pipeline Skippy, và ẩn toàn bộ phức tạp phân tán bằng endpoint localhost:9337/v1.

Lập trình viên muốn xây dựng ứng dụng AI phân tán hoặc mở rộng mô hình lớn trên nhiều GPU mà không cần phụ thuộc vào cloud trung tâm nên tìm hiểu Mesh LLM để hiểu cách triển khai hiệu quả với iroh và OpenAI API.

#llm