Legacy Image Provider to Cloudflare Images: Traffic Estimation and Safe Rollout

Dev Genius11 Hot7 phút1 tháng trướcAI

How I Handled 5GB+ File Uploads Without Breaking My Node.js Server

Khi người dùng bắt đầu tải lên file vượt 5GB qua tính năng đính kèm trong Slack, máy chủ Node.js đang dùng middleware body‑parser mặc định cố gắng đọc toàn bộ payload vào RAM, khiến bộ nhớ tăng đột ngột và process bị kill khi vượt quá giới hạn heap. Nguyên nhân kỹ thuật là việc không sử dụng streaming parser, vì mỗi kết nối tiêu tốn khoảng 5–6 GB RAM trong thời gian xử lý upload, làm giảm khả năng xử lý song song và gây ra timeout cho các request khác. Hệ quả là server thường xuyên restart, perda dữ liệu upload chưa hoàn thành và thời gian phản hồi tăng lên tới 30 giây cho các truy vấn API bình thường. Để khắc phục, tác giả đã thay body‑parser bằng busboy (hoặc multiparty) và pipe dữ liệu trực tiếp vào một file tạm trên đĩa hoặc vào multipart upload của Amazon S3, đồng thời đặt giới hạn kích thước phần qua highWaterMark và bật chế độ tự động dọn dẹp file tạm sau khi hoàn thành. Bài học là đối với file lớn hơn vài trăm MB, Node.js không nên đọc toàn bộ payload vào bộ nhớ; thay vào đó, cần sử dụng streaming, lưu trữ tạm hoặc truyền trực tiếp tới dịch vụ lưu trữ đối tượng, và nếu cần xử lý sau upload thì offload sang worker thread hoặc dịch vụ nền.

Bài này sẽ dạy bạn cách xử lý upload file lớn trên Node.js mà không làm quá tải server.

#career #nodejs #aws-s3 Nguồn

Laravel1 Hot11 phút1 tháng trướcAI

Object storage migrations with Laravel's read-through filesystem

Chuyển đổi từ S3 sang R2 mà không gián đoạn bằng cách sử dụng Laravel 13's read-through filesystem driver, nơi ghi mới sẽ lưu vào đích đến còn đọc cũ sẽ tự động cập nhật khi truy cập.

Lập trình viên cần đọc bài này để hiểu cách chuyển đổi lưu trữ đối tượng từ S3 sang R2 mà không gây gián đoạn dịch vụ, sử dụng cơ chế đọc qua filesystem trong Laravel 13, giúp tối ưu hóa hiệu suất và bảo mật trong quá trình chuyển đổi.

#php #laravel #aws-s3 Nguồn

The Infinity1 Hot14 phút1 tháng trướcAI

S3 Storage Class Cost: The Break-Even Math Behind Every Tier

Tính toán chi phí thực tế của các S3 storage class (Standard-IA, Glacier, Intelligent-Tiering) bằng công thức break-even dựa trên tỷ giá AWS Pricing API để xác định lớp lưu trữ nào tiết kiệm nhất.

Lập trình viên nên đọc bài này để tối ưu chi phí lưu trữ AWS bằng cách tính toán chính xác điểm chuyển đổi chi phí giữa các lớp lưu trữ S3 (Standard, IA, Glacier, Intelligent-Tiering) dựa trên số lượng dữ liệu và thời gian lưu trữ, giúp giảm thiểu tổn thất tài chính khi quản lý dữ liệu lớn.

#aws #aws-s3 #finops Nguồn

InfoQ1 Hot3 phút1 tháng trướcAI

Canva Shares S3 Based Architecture for Session Revocation Across Hundreds of Millions of Sessions

Canva xây dựng lại hạ tầng thu hồi phiên (session revocation) dựa trên Amazon S3 để hỗ trợ 100 triệu phiên hoạt động, giảm thiểu truy vấn cơ sở dữ liệu. Hệ thống lưu trữ hồ sơ thu hồi trên S3 và phân phối dữ liệu qua các dịch vụ khác.

Lập trình viên cần đọc bài này để hiểu cách tối ưu hóa quản lý phiên đăng nhập lớn bằng cơ sở dữ liệu phân tán và lưu trữ hiệu quả trên S3, giúp giảm chi phí và cải thiện hiệu suất cho ứng dụng có hàng trăm triệu phiên hoạt động đồng thời.

#authentication #aws-s3 Nguồn

The Infinity1 Hot14 phút1 tháng trướcAI

Amazon S3 for the Solutions Architect Exam: What 274 Real Questions Reveal

Để vượt qua kỳ thi AWS SAA-C03, cần nắm vững cách chọn đúng storage class, lifecycle rule và access control cho Amazon S3, đồng thời cập nhật những thay đổi mặc định của S3 vào năm 2025 và 2026.

Lập trình viên nên đọc bài này để hiểu cách tối ưu hóa lưu trữ và quản lý dữ liệu trong AWS S3—với kiến thức về các lớp lưu trữ, quy tắc chuyển đổi thời gian và kiểm soát quyền truy cập—để xây dựng các giải pháp hiệu quả, tiết kiệm chi phí và phù hợp với các yêu cầu của AWS SAA-C03 và thực tế sản phẩm.

#aws #aws-s3 Nguồn

InfoQ0 Hot3 phút1 tháng trướcAI

S3 Compatibility Doesn't Guarantee S3-Level Security

Nghiên cứu của Wiz đã kiểm tra dịch vụ lưu trữ đối tượng tương thích S3 trên sáu nền tảng neocloud phổ biến. Họ phát hiện rằng nhiều dịch vụ này thiếu các cơ chế bảo mật chuẩn của Amazon S3 như chính sách bucket granulariy, mã hoá mặc định và kiểm soát truy cập dựa trên IAM. Do đó, các bucket có thể bị cấu hình sai hoặc để công khai, dẫn đến rủi ro rò rỉ dữ liệu nhạy cảm. Các cuộc tấn công được minh họa trong báo cáo cho thấy kẻ tấn công có thể lấy được đối tượng mà không cần xác thực khi các dịch vụ không áp dụng đúng các hạn chế truy cập. Bài học chính là việc tương thích S3 chỉ đảm bảo giao diện API, không bảo bảo mức độ bảo mật, vì vậy đội ngũ bảo mật cần đánh giá từng dịch vụ riêng biệt và không dựa vào giả định mức độ bảo mật của Amazon S3.

Để hiểu rõ các lỗ hổng bảo mật tiềm ẩn trong các dịch vụ lưu trữ đối tượng tương thích S3 và cách giảm thiểu rủi ro khi sử dụng chúng.

#security #aws #aws-s3 Nguồn

C# Corner0 Hot17 phút1 tháng trướcAI

Design a Video Upload System That Handles Millions of Uploads a Day

Hệ thống cần xử lý hàng triệu tải lên mỗi ngày, mỗi tệp có thể lên tới 50 GB. Nguyên nhân kỹ thuật là việc thực hiện virus và content validation, phân phối toàn cầu và tránh để API servers trở thành bottleneck. Nếu không giải quyết vấn đề này, API sẽ bị quá tải, latencies tăng và chất lượng service giảm sút. Bài viết chỉ ra cách offload heavy tasks ra queue và CDN, scaling các service độc lập để duy trì throughput. Vì vậy, bạn có thể học được kiến trúc chi tiết để thiết kế hệ thống tải lên video quy mô lớn mà không phụ thuộc vào API.

Bài viết này giúp bạn thiết kế hệ thống tải video xử lý hàng triệu lượt tải mỗi ngày mà không làm API server trở thành nút thắt cổ chai.

#career #distributed-systems #aws-s3 Nguồn

Arpit Bhayani0 Hot2 phút21 ngày trướcAI

How S3 Enables Stateless Write-Ahead Logs Despite Latency Trade-offs

Nhiều hệ thống hiện đại như Turbopuffer, Chroma và WarpStream đang chuyển write‑ahead log (WAL) lên Amazon S3 để tận dụng độ bền và chi phí thấp của dịch vụ đối tượng. Họ sử dụng multipart upload hoặc phiên bản đối tượng để ghi log theo cách append‑only, mỗi bản ghi là một đối tượng nhỏ hoặc một phần của một đối tượng lớn, và dựa trên mô hình eventual consistency của S3 để duy trì thứ tự mà không cần trạng thái máy chủ. Mặc độ trễ của một PUT trên S3 thường dao động từ vài chục đến vài trăm miligiây, nhưng hệ thống vẫn đạt được khả năng phục hồi mạnh nhờ sao chép 3‑way và chính sách versioning, đồng thời giảm chi phí lưu trữ xuống dưới $0,023/GB‑tháng. Để áp dụng mô hình này, cần thiết kế lại logic ghi log để chấp nhận độ trễ cao hơn, tối ưu kích thước phần upload (thường 5‑10 MB) và sử dụng các cơ chế như idempotent write hoặc checksum để phát hiện và sửa lỗi mà không phụ thuộc vào trạng thái nội bộ. Mặc dù trade‑off về latency là không thể tránh được, nhưng với việc tận dụng S3 như một lưu trữ log stateless, các dự án có thể đạt được mức độ tin cậy cao mà không cần quản lý cluster log riêng.

Bài này giải thích cách S3 cho phép xây dựng log write-ahead không trạng thái bất chấp sự đánh đổi về độ trễ.

#distributed-systems #aws-s3 Nguồn

Legacy Image Provider to Cloudflare Images: Traffic Estimation and Safe Rollout

Bạn nhớ được gì?

Đề xuất cho bạn

Bình luận

How I Handled 5GB+ File Uploads Without Breaking My Node.js Server

Object storage migrations with Laravel's read-through filesystem

S3 Storage Class Cost: The Break-Even Math Behind Every Tier

Canva Shares S3 Based Architecture for Session Revocation Across Hundreds of Millions of Sessions

Amazon S3 for the Solutions Architect Exam: What 274 Real Questions Reveal

S3 Compatibility Doesn't Guarantee S3-Level Security

Design a Video Upload System That Handles Millions of Uploads a Day

How S3 Enables Stateless Write-Ahead Logs Despite Latency Trade-offs

Một tài khoản, cả hệ sinh thái

8syncdev.com

Khóa học

Luyện code

IELTS

ZUS — IDE AI

mind0

AcoLeads