Open-weight AI on Kubernetes: A Developer’s Guide to vLLM vs. KubeAI

The Difference Between Knowing Kubernetes and Understanding Kubernetes

Sau một tuần học, tôi có thể thuộc lòng sơ đồ kiến trúc Kubernetes, nhưng phải trải qua sự …

15 O'Reilly Linux eBooks for Under $30: A Bundle That Goes From Command Line Basics to Kubernetes

Bộ 15 eBook về Linux từ O'Reilly, từ cơ bản command line đến Kubernetes, được bán với giá dưới 30 USD, không DRM, có phần tiền ủng hộ Code for America.

Lập trình viên nên đọc để khám phá các tài liệu thực hành từ cơ sở kiến thức Linux đến cloud và DevOps, giúp nâng cao kỹ năng triển khai và quản lý hệ thống hiệu quả mà chi phí thấp.

GitOps in the age of AI — 4

Phần 4 của loạt bài về GitOps trong kỷ nguyên AI, sau những lý thuyết ở phần 2 và 3, giờ đây sẽ áp dụng vào một trường hợp thực tế bằng cách thiết lập stack phù hợp, đảm bảo hoạt động ổn định và kiểm tra các add-on cần thiết.

Lập trình viên nên đọc bài này để hiểu cách áp dụng GitOps kết hợp với AI để tự động hóa triển khai, quản lý và tối ưu hóa hệ thống infrastructure một cách chính xác, hiệu quả và an toàn trong thực tế.

Launch of the AI Infra SIG under the CNCF Japan chapter: First meetup and call for speakers

Hội nhóm AI Infra SIG chính thức ra mắt dưới sự bảo trợ của chương CNCF Nhật Bản, với buổi gặp mặt đầu tiên và kêu gọi diễn giả. Sự phát triển từ AI tạo sinh đến các tác nhân (agents) đang thúc đẩy nhu cầu về hạ tầng AI có khả năng mở rộng.

Những kiến thức về scalability và hạ tầng AI trong CNCF sẽ giúp bạn hiểu rõ cách xây dựng hệ thống mạnh mẽ cho các ứng dụng AI tương lai, từ đó tối ưu hóa hiệu suất và chi phí cho dự án của mình.

Why I haven’t run my databases on Kubernetes

Bài viết phân tích và bác bỏ những lo ngại phổ biến khi chạy cơ sở dữ liệu trên Kubernetes như quản lý workloads stateful, an toàn dữ liệu khi pod/node gặp sự cố, hiệu suất overhead và độ phức tạp vận hành. Tác giả cho rằng Kubernetes đã trưởng thành với StatefulSets, PersistentVolumes, CSI cùng Operators giúp tự động hóa các thao tác Day-2 phức tạp, khiến hầu hết các phản đối trước đây không còn hợp lệ.

Lập trình viên nên đọc bài này để hiểu cách Kubernetes hiện đại đã giải quyết những lo ngại truyền thống về quản lý cơ sở dữ liệu, từ việc bảo mật dữ liệu trong các sự kiện thất bại đến tối ưu hóa hiệu suất và tự động hóa các công việc vận hành phức tạp.

How to Fix ImagePullBackOff in Kubernetes

Khi gặp lỗi ImagePullBackOff trong Kubernetes, nguyên nhân thường do registry riêng tư không truy cập được, tag image sai hoặc thiếu pull-secret đúng. Kubelet không thể tải image xuống, khiến pod bị treo trạng thái này.

Nếu bạn đang gặp khó khăn với các pod bị treo ở trạng thái Pending do không thể pull image từ kho lưu trữ riêng tư, sai tag hoặc sai pull-secret, bài này sẽ giúp bạn giải quyết nhanh chóng bằng cách xác định và sửa các nguyên nhân chính trong Kubernetes.

How LLMs Decide What to Forget: KV Cache Eviction Explained

Khi yêu cầu ngữ cảnh dài chiếm hết bộ nhớ GPU và cần sinh token mới, hệ thống buộc phải xóa bớt dữ liệu khỏi bộ nhớ KV cache để giải phóng không gian.

Nếu bạn đang phát triển hoặc nghiên cứu về các mô hình ngôn ngữ lớn, bài viết sẽ giúp bạn hiểu rõ cách các mô hình xử lý bộ nhớ dư thừa và quyết định loại bỏ thông tin nào trong KV cache, giúp tối ưu hiệu suất và tránh sai sót trong xử lý dữ liệu dài.