Cloudflare Workers Accept Inbound TCP, with gRPC the First Protocol on Top

gRPC-Rust Roadmap

Đội ngũ gRPC-Rust vừa hoàn thành bản preview phía client và đang chuẩn bị cho các bước …

I Added a CDN Cache to My Site and It Got Slower. Here's the Math I Should Have Done First.

Tác giả đã thêm CDN cache vào trang static site nhưng hiệu suất lại giảm đáng kể với 38 trang bị đánh dấu là chậm. Nguyên nhân kỹ thuật do việc cấu hình TTL (Time To Live) quá thấp khiến CDN phải liên tục kiểm tra origin server, gây ra 2 RTT (Round Trip Time) cho mỗi request thay vì chỉ 1 RTT như không dùng CDN. Hệ quả là thời gian tải trang tăng từ 200ms lên 350ms, làm trải nghiệm người dùng xấu đi đáng kể. Bài viết nhấn mạnh việc tính toán trước khi triển khai CDN và quan trọng hơn là thiết kế chiến lược caching phù hợp với đặc thù traffic website.

Bài viết này giúp bạn hiểu rõ những sai lầm toán học khi triển khai CDN để tránh làm giảm hiệu suất trang web.

Open-sourcing OpenPubkey SSH (OPKSSH): integrating single sign-on with SSH

OpenPubkey SSH (OPKSSH) là công cụ cho phép đăng nhập SSH bằng single sign‑on (OpenID Connect) thay vì quản lý khóa SSH dài hạn, và vừa được mã nguồn mở dưới giấy phép Apache 2.0 sau khi Cloudflare tặng код từ việc mua lại BastionZero cho dự án OpenPubkey. Công cụ hoạt động bằng cách nhúng OpenID ID Token, mở rộng bằng khóa công khai qua giao thức OpenPubkey, vào trường mở rộng của chứng chỉ SSH, chỉ cần thay đổi hai dòng trong sshd_config sử dụng AuthorizedKeysCommand mà không cần sửa mã khách hàng hoặc máy chủ. Thay thế khóa SSH tĩnh bằng khóa tạm thời, hết hạn và gắn liền với danh tính (ví dụ: địa chỉ email) thay vì khóa công khai thô, OPKSSH nâng cao bảo mật, dễ sử dụng và khả năng truy vết truy cập. Điều này cho thấy việc tích hợp SSO vào SSH có thể đạt được với cấu hình tối thiểu, mang lại lợi ích về quản lý danh tính và giảm rủi ro từ khóa vĩnh viễn. Đồng quyên góp công cụ nội bộ dưới giấy phép cho phép mở rộng cộng đồng và thúc đẩy việc áp dụng rộng rãi các phương pháp xác thực hiện đại.

OPKSSH giúp đăng nhập SSH đơn giản hóa bằng single sign-on thay vì quản lý khóa SSH dài hạn, nâng cao bảo mật và khả năng hiển thị quyền truy cập.

We Switched From REST to gRPC for the Performance, Got It, and Then Spent a Year Fighting Everything That Used to Be Trivial. Two Years of Running Both Taught Me the Real Tradeoff.

Chuyển từ REST sang gRPC vì hiệu năng, nhưng sau đó phải mất một năm khắc phục những vấn đề vốn dễ dàng trước đây. Sau hai năm vận hành song song, tác giả nhận ra sự đánh đổi thực sự giữa hai công nghệ này.

Đọc bài này để hiểu rõ những nhược điểm không ngờ khi chuyển từ REST sang gRPC, giúp bạn tránh những quyết định kỹ thuật không cân bằng giữa hiệu suất và sự phức tạp thực tế trong dự án thực tế.

Most Teams Move to Dedicated Inference Too Early

Nhiều đội chuyển từ inference serverless sang dedicated ngay sau khi mô hình đạt mức độ ổn định, hy vọng giảm latency và kiểm soát chi phí tốt hơn. Nguyên nhân kỹ thuật là họ đánh giá sai mức độ lưu lượng thực tế, thường dựa trên thử nghiệm bursts thay vì lưu lượng trung bình dài hạn, dẫn đến việc cung cấp quá nhiều GPU hoặc instances. Hệ quả là mức sử dụng tài nguyên thường dưới 30 %, chi phí mỗi inference tăng lên gấp 2‑3 lần so với việc giữ nguyên serverless hoặc dùng auto‑scaling vừa đủ. Điều đáng học là trước khi chuyển sang dedicated, cần đo lường thực tế các chỉ số như requests per second, latency percentile và mức využ dụng GPU trong thời gian ít nhất một tuần, rồi áp dụng chính sách scaling dựa trên ngưỡng utilization (ví dụ 60‑80 %). Khi lưu lượng ổn định và mức wykorzystание vượt qua ngưỡng trên mới cân nhắc chuyển sang dedicated inference để tối ưu chi phí và hiệu năng.

Bài viết này giúp bạn tránh sai lầm phổ biến khi di chuyển sang suy luận chuyên dụng quá sớm, tiết kiệm chi phí và tối ưu hóa hiệu suất.

Cold Start Latency on Serverless Inference: What Actually Happens in Those Few Seconds

Khi chạy mô hình học sâu trên nền tảng serverless như AWS Lambda, Azure Functions hoặc Google Cloud Run, mỗi lần gọi đầu tiên sẽ trải qua giai đoạn cold start khiến latency tăng đáng kể. Latency chủ yếu xuất phát từ thời gian tải image container, giải nén và khởi tạo runtime, đồng thời phải load mô hình từ bộ lưu trữ (S3, Blob Storage) vào RAM, và thời gian này tỷ lệ thuận với kích thước mô hình – ví dụ một mô hình 2 GB có thể cần 3‑5 giây để load. Hệ quả là các request đầu tiên gặp trễ từ vài trăm miligiây (đối với hàm nhẹ) tới vài giây (đối với mô hình lớn), làm giảm trải nghiệm người dùng và gây khó khăn trong các ứng dụng cần phản hồi real‑time như chatbot hoặc xử lý video. Các tối ưu như giảm kích thước mô hình qua quantization hoặc pruning, sử dụng lớp cache /tmp hoặc EFS, bật tính năng provisioned concurrency hoặc AWS Lambda SnapStart, và chọn runtime dựa trên hình ảnh cơ sở nhỏ (distroless, Alpine) có thể cắt giảm cold start xuống dưới 500 ms cho hầu hết các trường hợp. Kết hợp các kỹ thuật trên không chỉ giảm latency mà còn tiết kiệm chi phí do giảm thời gian thực thi và số lần khởi tạo container.

Bài viết giải thích rõ ràng về nguyên nhân gây độ trễ lúc khởi đầu và cách tối ưu hiệu suất cho serverless inference.

Introducing Kitesurf: The agent-first browser that runs in V8 isolates on Cloudflare Workers

Cloudflare giới thiệu Kitesurf, trình duyệt không trạng thái, có khả năng mở rộng cao và tiết kiệm chi phí, chạy hoàn toàn trên Workers bằng V8 isolates, được thiết kế riêng cho môi trường Agentic Cloud.

Lập trình viên cần đọc bài này để khám phá cách Cloudflare xây dựng Kitesurf, một công cụ mới cho các agent AI hoạt động hiệu quả hơn trong môi trường web phân tán, giúp tối ưu hóa khả năng xử lý và triển khai ứng dụng tương tác với internet.