Creepy crawlies

Ryabitsev: Creepy crawlies

Konstantin Ryabitsev công bố thống kê về lưu lượng truy cập của các bot AI vào git.kernel.org, dịch vụ lưu trữ Git của nhân Linux. Mỗi ngày trang này nhận khoảng 6 triệu yêu cầu cho các commit ngẫu nhiên, trong đó 66% bị chặn bởi thách thức proof-of-work của Anubis và 33% vượt qua sau khi giải được. Dựa trên giả định rộng rãi, lưu lượng từ người dùng thật chỉ chiếm khoảng 2% tổng số request, phần còn lại là các trình thu thập dữ liệu tự động. Tình trạng này gây raภาระ không cần thiết cho máy chủ, làm giảm hiệu suất và tăng chi phí vận hành. Bài học là cần điều chỉnh mức độ khó của proof-of-work, kết hợp với giám sát và giới hạn tốc độ để phân biệt tốt hơn giữa lưu lượng hợp lệ và bot.

Bài viết này cho bạn cái nhìn rõ ràng về quy mô vấn đề crawler AI và cách bảo vệ hệ thống nguồn mở như Linux kernel trước các truy cập tự động.