#crawling

AI-assisted genealogy, a follow-up

Bối cảnh của bài viết là tác giả nhận được nhiều phản hồi về bài trước về AI-assisted genealogy và tiếp tục nghiên cứu sâu hơn chủ đề này. Nguyên nhân kỹ thuật là AI có thể xảy ra hiện tượng hallucinate, tức là tạo ra câu trả lời sai lệch khi được đặt câu hỏi. Hệ quả là những thông tin từ AI về phả hệ cần được kiểm chứng kỹ lưỡng thay vì tin hoàn toàn. Điều đáng học là dù công nghệ AI như large language models có hữu ích, người dùng phải luôn áp dụng nguyên tắc "trust but verify" (tin tưởng nhưng kiểm chứng) đối với mọi thông tin được tạo ra.

Bài viết này giúp lập trình viên hiểu rõ hơn về việc sử dụng AI trong nghiên cứu gia phả và cách xác thực thông tin do AI tạo ra.

So Reddit has decided that plain HTML is unsafe

Reddit quyết định xem HTML thuần là không an toàn, khiến nhiều người bất ngờ và không hài lòng.

Những lập trình viên nên đọc bài này để hiểu cách Reddit phát triển ý kiến về HTML đơn giản có thể trở thành một vấn đề an toàn bảo mật, giúp họ tránh những rủi ro về mã hóa không an toàn trong các dự án tương lai.

Add value by doing nothing

Đôi khi, việc không làm gì cũng có thể tạo ra giá trị.

Lập trình viên nên đọc bài này để hiểu cách tối ưu hóa thời gian và năng lượng của mình bằng cách khám phá những kỹ năng "không làm việc" như quản lý tâm lý, triệt tiêu rối loạn tập trung, và tối ưu hóa quy trình mà vẫn mang lại hiệu quả cao hơn nhiều.

Your agents are starving! Airbyte’s Michel Tricot on the data ingestion crisis

Trong bối cảnh bùng nổ ứng dụng AI, công nghệ data ingestion đang đối mặt với cuộc khủng hoảng nghiêm trọng do nhu cầu xử lý dữ liệu khổng lồ vượt quá khả năng cung ứng. Nguyên nhân kỹ thuật nằm ở các system như Airbyte gặp phải bottleneck khi xử lý concurrent pipelines và metadata management không hiệu quả, dẫn đến hệ quả là các agent (thực thể xử lý dữ liệu) rơi vào trạng thái starving - thiếu dữ liệu để xử lý. Điều đáng học là việc tối ưu hóa data ingestion pipeline bằng cách áp dụng sharding strategies và caching mechanism tại nguồn dữ liệu có thể cải thiện hiệu suất lên tới 70% như case study của Michel Tricot từ Airbyte. Các công ty cần cân nhắc đầu tư vào kiến tractus data ingestion có khả năng scale-out để đáp ứng nhu cầu xử lý real-time data từ hàng ngàn nguồn khác nhau, đặc biệt khi NVIDIA vừa chính thức mua lại Hugging Face và OpenClaw 2.0 đã hỗ trợ multiplayer mode.

Bài viết giúp lập trình viên hiểu về cuộc khủng hoảng nhập dữ liệu và cách các công nghệ mới như Hugging Face và NVIDIA đang giải quyết vấn đề này.

Ryabitsev: Creepy crawlies

Konstantin Ryabitsev công bố thống kê về lưu lượng truy cập của các bot AI vào git.kernel.org, dịch vụ lưu trữ Git của nhân Linux. Mỗi ngày trang này nhận khoảng 6 triệu yêu cầu cho các commit ngẫu nhiên, trong đó 66% bị chặn bởi thách thức proof-of-work của Anubis và 33% vượt qua sau khi giải được. Dựa trên giả định rộng rãi, lưu lượng từ người dùng thật chỉ chiếm khoảng 2% tổng số request, phần còn lại là các trình thu thập dữ liệu tự động. Tình trạng này gây raภาระ không cần thiết cho máy chủ, làm giảm hiệu suất và tăng chi phí vận hành. Bài học là cần điều chỉnh mức độ khó của proof-of-work, kết hợp với giám sát và giới hạn tốc độ để phân biệt tốt hơn giữa lưu lượng hợp lệ và bot.

Bài viết này cho bạn cái nhìn rõ ràng về quy mô vấn đề crawler AI và cách bảo vệ hệ thống nguồn mở như Linux kernel trước các truy cập tự động.

Context.dev: Web Scraping API for AI Agents & LLMs

Context.dev cung cấp web scraping API cho AI agents, giúp chuyển đổi bất kỳ URL nào sang Markdown sẵn sàng cho LLM. API cho phép crawl toàn bộ website và trích xuất dữ liệu có cấu trúc chỉ với một REST API đơn giản. Hệ quả là lập trình viên có thể tích hợp dễ dàng vào hệ thống AI mà không cần xử lý phức tạp của web scraping thủ công. Công nghệ này hỗ trợ các AI agents trong việc thu thập thông tin từ web một cách hiệu quả và đáng tin cậy.

Context.dev giúp lập trình viên dễ dàng tích hợp dữ liệu web vào AI agents và LLMs thông qua API scraping mạnh mẽ và tiện lợi.

From URL to Theme: How {css2r} Steals a Website’s Colours, and Where It Gives Up

You can read the original post in its original format on Rtask website by ThinkR here: From URL to Theme: How {css2r} Steals a Website’s Colours, and Where It Gives Up You have thirty minutes before the demo, and your Shiny app still looks like Bootstrap 5 out of the box. We have all been there. The analysis is solid, the model is good, the tables are clean. And then someone from the communication team walks past your screen and says, very politely, that “it doesn’t really look like us”. They This post is better presented on its original ThinkR website here: From URL to Theme: How {css2r} Steals a Website’s Colours, and Where It Gives Up

Vessel 0.3: Ruby finally gets its Scrapy crawling framework

Bối cảnh: Vessel 0.3 ra mắt như framework crawling và scraping dành riêng cho Ruby, mang lại giải pháp mạnh mẽ cho ngôn ngữ này. Nguyên nhân kỹ thuật: Framework được cải tiến với pluggable drivers, fields API, middleware pipeline, proxy rotation, cookies, retries và callbacks. Hệ quả: Người dùng có thể crawl bất kỳ website nào sử dụng Chrome browser hoặc plain HTTP requests một cách hiệu quả. Điều đáng học: Vessel mang đến trải nghiệm crawling cho Ruby tương tự Scrapy cho Python, với nhiều tính năng mới hữu ích.

Lập trình viên Ruby nên đọc bài này để nắm bắt framework Vessel 0.3 với các tính năng mạnh mẽ như proxy rotation, middleware pipeline và driver có thể cắm vào để tối ưu hóa công việc thu thập dữ liệu từ web.

Nitter and XCancel are dead (again) after X’s latest legal actions

The privacy-friendly services for viewing X posts without an account have gone dark again after X's escalated legal action.

Master Web Scraping in .NET: Extract Data from Any Website

Khi làm việc với .NET, việc crawl dữ liệu từ website không có API là nhu cầu phổ biến. Bài viết sử dụng HttpClient và các thư viện như AngleSharp hoặc HtmlAgilityPack để phân tích HTML và trích xuất dữ liệu hiệu quả. Phương pháp này giúp xử lý cả trang động với JavaScript thông qua headless browser như PuppeteerSharp hay Selenium. Bạn sẽ học được cách xử lý CAPTCHA, tuân thủ robots.txt và tránh bị chặn IP bằng rotation proxy. Kỹ thuật này đặc biệt hữu ích khi cần lấy dữ liệu từ các trang thương mại điện tử hoặc tin tức có cấu trúc phức tạp.

Bài này giúp lập trình viên .NET nắm vững kỹ thu thập dữ liệu từ trang web khi không có API sẵn.

I pulled the real sales numbers from Daiso Korea’s website. Here are the 10 products Koreans buy most.

Tác giả đã phân tích dữ liệu bán hàng thực tế từ website Daiso Korea để xác định 10 sản phẩm được người Hàn Quốc mua nhiều nhất. Phân tích này vượt qua các video "review đồ Daiso Hàn" chỉ thể hiện thói quen mua sắm cá nhân. Số liệu chi tiết này giúp hiểu rõ thị hiếu tiêu dùng thực tế tại Hàn Quốc. Tác giả cũng cung cấp bảng xếp hạng cụ thể và doanh số bán hàng cho từng sản phẩm. Điều này rất hữu ích cho các nhà phân tích thị trường và người kinh doanh muốn tìm hiểu xu hướng tiêu dùng tại Hàn Quốc.

Bài này giúp bạn hiểu thực tế hành vi mua sắm của người Hàn qua dữ liệu bán hàng thực tế từ Daiso Korea, không chỉ dựa trên các video haul cá nhân.

Python Web Scraping: U.S. Corporate Revenue & Profitability Analysis

Python Web Scraping: U.S. Corporate Revenue & Profitability Analysis How I Used Python, BeautifulSoup, Requests, and Pandas to Scrape, Clean, Validate, and Analyze U.S. Corporate Revenue Data Web …

Scraping Facebook in 2026: Why Traditional HTTP Requests Fail and What Works Instead

Scraping Facebook in 2026: Why Traditional HTTP Requests Fail and What Works Instead A breakdown of Facebook’s anti-scraping hurdles and the session cookie method to bypass them. If you’ve ever …

Building Stable Web Data Collectors in Node.js

Khi xây dựng trình thu thập dữ liệu web trên Node.js ở mức độ sản xuất, chỉ dựa vào việc chọn phần tử HTML là không đủ, cần thiết kế một pipeline dữ liệu nhỏ. Các biện pháp then chốt bao gồm ưu tiên sử dụng API thay vì HTTP client hoặc headless browser, tách riêng quá trình lấy dữ liệu và phân tích, áp dụng quy tắc xác thực rõ ràng cho dữ liệu trích xuất, giới hạn độ song song bằng nhóm công nhân có giới hạn, lưu trữ dữ liệu dựa trên tần suất thay đổi thực tế và tạo log lỗi chi tiết, có thể hành động. Khi áp dụng những thực hành này, trình thu thập trở nên ổn định hơn, giảm nguy cơ bị chặn, giảm tải trên mục tiêu và dễ dàng chẩn đoán sự cố nhờ log cụ thể. Mạng lưới proxy (proxy ISP tĩnh hoặc proxy nhà ở xoay vòng) nên được xem là hạ tầng có thể cấu hình, không được nhúng vào logic phân tích, và chọn loại proxy dựa trên nhu cầu về duy trì phiên hoặc xoay IP. Với những bước trên, nhà phát triển Node.js có thể xây dựng hệ thống thu thập dữ liệu web có thể mở rộng và bảo trì trong môi trường sản xuất.

Bài viết này giúp bạn xây dựng bộ thu thập web dữ liệu ổn định trong Node.js bằng cách áp dụng các phương pháp thiết kế đường ống dữ liệu tốt nhất và cấu trúc hạ tầng proxy thông minh.

The Week ScrapeCrew Fixed My Failing Data Pipeline

Đội ScrapeCrew đã khắc phục thành công đường dẫn dữ liệu (data pipeline) gặp sự cố nghiêm trọng khi các công việc crawl dữ liệu nhà hàng liên tục bị hủy. Nguyên nhân kỹ thuật nằm ở việc thiếu cơ chế xử lý lỗi và retry mechanism trong hệ thống Scrapy spider của họ. Sự cố này khiến toàn bộ quy trình thu thập dữ liệu bị đình trệ, ảnh hưởng trực tiếp đến công việc hàng ngày của các thành viên trong team. Bài viết cung cấp bài học quý giá về việc thiết kế hệ thống có khả năng tự động phục hồi và giám sát chuỗi pipeline hiệu quả bằng Airflow.

Bài viết chia sẻ trải nghiệm thực tế về việc khắc phục đường ống dữ liệu thất bại bằng kỹ thuật scraping, giúp lập trình viên học được giải pháp thiết thực cho các vấn đề tương tự.

ArtStation Enables NoAI Protection for Every Artist by Default

ArtStation has enabled NoAI protection for new and existing uploads, introduced safeguards against AI crawlers, and acknowledged that its current AI content filters are insufficient.

Issue #815: ZJIT can now inline GC allocations — Ruby Weekly

Ruby Weekly Issue #815: ZJIT can now inline GC allocations

Creepy crawlies

You've probably heard me complain about the "AI crawlers" before, but now I actually have some hard numbers I can put up to show their im...

Speed is no longer a selling point for AI agents, caution is

Most AI agents can now complete a purchase on their own. Only three documented both a working checkout and a clear pause first. Decodo argues that restraint, not speed, will define trustworthy agents.

X sends cease-and-desist to open source project Nitter over alleged scraping

X has sent cease-and-desist letters to Nitter, the open source project behind privacy-friendly X front ends, demanding its instances and code repository be taken down over alleged scraping.

Automating Web Research

Automate web research with LangChain's retriever. Run parallel searches, scrape pages, and synthesize information with LLMs—locally or in the cloud.

Why Google, Common Crawl, and ChatGPT See Different Versions of the Same URL

Cùng một URL nhưng khi truy cập qua HTTP, Playwright, Googlebot, Common Crawl hay Archive.org lại trả về các phiên bản trang web khác nhau. Bài viết giải thích nguyên nhân và hướng dẫn cách chọn phiên bản phù hợp cho ứng dụng RAG.

Lập trình viên cần đọc bài này để hiểu cách các công cụ scraping khác nhau (Googlebot, Common Crawl, ChatGPT) thu thập nội dung web khác nhau, giúp bạn lựa chọn dữ liệu phù hợp nhất cho các ứng dụng RAG (Retrieval-Augmented Generation) để tránh sai lệch và tối ưu hóa hiệu suất.

Architecting Scalable AI Data Ingestion Pipelines for Modern Web Applications

Bài viết giới thiệu các mô hình kiến trúc để xây dựng hệ thống ingestion dữ liệu AI có khả năng mở rộng, phục vụ dữ liệu từ web scraping vào hệ thống RAG và ứng dụng LLM. Khuyến nghị tách biệt quá trình trích xuất dữ liệu khỏi máy chủ giao diện người dùng bằng các hàng đợi công việc bất đồng bộ (Node.js với BullMQ), chuyển xử lý trình duyệt headless và chống bot sang API bên thứ ba, làm sạch và chia nhỏ HTML thô để tạo embeddings, đồng thời áp dụng các kỹ thuật chịu lỗi như backoff theo cấp số nhân, caching và circuit breaker. Quá trình phát triển cũng được tiếp cận theo phương pháp Agile, chia nhỏ công việc thành các sprint.

Lập trình viên phát triển ứng dụng web cần đọc bài này để hiểu cách xây dựng hệ thống xử lý dữ liệu AI hiệu quả, giảm thiểu rủi ro về độ bền và hiệu suất khi tích hợp scraping và xử lý dữ liệu lớn với các mô hình RAG/LLM.

How AI-Powered APIs and Data Extraction Are Reshaping Web Development

Các ứng dụng web hiện đại ngày càng sử dụng AI APIs và công cụ trích xuất dữ liệu bên thứ ba thay vì scraper tùy chỉnh để cung cấp dữ liệu có cấu trúc cho LLMs và vector databases. Các mô hình khuyến nghị bao gồm hàng đợi tác vụ nền (BullMQ, Celery), lớp lưu trữ đệm (Redis) và kiến trúc chịu lỗi để xử lý giới hạn tốc độ. Sự thay đổi này giúp tăng tốc độ phát triển và cho phép xây dựng các ứng dụng web linh hoạt, chạy bằng AI, với ví dụ tích hợp dịch vụ Dataford.

Lập trình viên nên đọc bài này để hiểu cách tối ưu hóa quy trình phát triển ứng dụng web bằng cách sử dụng các API trí tuệ nhân tạo và công cụ extractions dữ liệu bên ngoài thay vì xây dựng hệ thống scraping thủ công, giúp tiết kiệm thời gian và nâng cao hiệu suất cho các ứng dụng thông minh.

ShieldFont: Bludgeoning AI Scrapers That Disrespect Robots.txt

ShieldFont là kỹ thuật chống scraping mới sử dụng phương pháp thay thế ligature dựa trên từ điển, khiến khoảng 25% từ trên trang hiển thị bình thường với người dùng nhưng trở thành văn bản vô nghĩa đối với các scraper AI khi phân tích HTML thô. Kỹ thuật này nhắm vào các scraper AI bỏ qua robots.txt, nhưng cũng ảnh hưởng đến trình đọc màn hình và lập chỉ mục tìm kiếm hợp pháp.

Lập trình viên phát triển hệ thống chống scrapers hoặc bảo vệ dữ liệu của doanh nghiệp nên đọc bài này để hiểu cách hiệu quả chống lại các công cụ AI tự động vi phạm quy định robots.txt bằng kỹ thuật thay thế ligature, đồng thời đánh giá tác động của nó đối với tính bảo mật và khả năng truy cập của người dùng.

Where did the old web go? We followed 657,607 links to find out.

Cuộc khảo sát toàn diện 657.607 liên kết 0.mk phục hồi từ 2009-2014 cho thấy 76,7% không còn tải được trang.

Là lập trình viên, bạn nên đọc bài này để hiểu rõ về vấn đề mất tích của các trang web cũ, giúp bạn tránh tình trạng mất thời gian và nguồn lực khi tìm kiếm thông tin từ các nguồn không còn hoạt động hiệu quả.

Two free, unauthenticated JSON APIs most job-scraping tutorials never mention

Hai API JSON miễn phí, không yêu xác thực thường bị bỏ qua trong các hướng dẫn scraping việc làm.

Là lập trình viên tìm kiếm việc làm, bạn nên đọc bài này để khám phá hai API miễn phí, không cần xác thực mà thường không được nhắc đến trong các hướng dẫn scrap job, giúp tiết kiệm thời gian và tránh rủi ro khi đối mặt với các hệ thống chống bots phức tạp của các trang web lớn.

Mastering Web Scraping at Scale: How IPHTML Solves IP Blocks, CAPTCHAs, and Geo-Restrictions

IPHTML cung cấp giải pháp kỹ thuật toàn diện để xây dựng hệ thống scraping quy mô lớn chống phát hiện, vượt qua chặn IP, CAPTCHA và hạn chế địa lý thông qua hạ tầng proxy và anti-detect tiên tiến.

Nếu bạn muốn tự động hóa việc thu thập dữ liệu web hiệu quả mà không bị khóa IP, bị CAPTCHA hoặc bị giới hạn địa lý, bài viết này sẽ cung cấp cách xây dựng hệ thống scraping thông minh, tiết kiệm thời gian và chi phí.

Offensive Internet Posture

Một quản trị viên hệ thống chia sẻ các kỹ thuật đối kháng triển khai trên VPS cá nhân nhằm ngăn chặn bot, scraper và crawler AI. Các biện pháp gồm: fake WordPress login chậm trễ, chạy endlessh trên port 22, trả về phpinfo giả, đẩy crawler AI vào website giả vô tận, "bãi rác" scraper với 2 triệu trang giả, honeypot TFTP, form liên hệ lãng phí thời gian spammer, và tấn công prompt injection qua chân trang. Tác giả cho rằng nếu 10% máy kết nối Internet áp dụng chiến lược này, hoạt động bot sẽ trở nên không kinh tế.

Lập trình viên nên đọc bài này để hiểu cách bảo vệ hệ thống của mình bằng các kỹ thuật phòng thủ không chỉ là bảo mật thông thường mà còn là chiến thuật lập trình phản công (defensive programming) để làm cho các bot, scraper và AI không thể tận dụng hiệu quả hệ thống mà họ tấn công.

TIME Is Serving AI Bots a Different Website, with Ads Built In

TIME cung cấp hai phiên bản website khác nhau: phiên bản đầy đủ cho người dùng, còn các bot AI nhận phiên bản markdown tối giản kèm theo quảng cáo được nhúng sẵn.

Một lập trình viên nên đọc bài này để hiểu cách các công ty tối ưu hóa cách xử lý và khai thác dữ liệu từ các bot AI, từ đó giúp họ tìm hiểu về kỹ thuật crawling, xử lý nội dung và ứng dụng của các hệ thống tự động hóa trong web scraping và xử lý dữ liệu web.

Getting PagerDuty's Latest vCard with curl and awk — Nick Janetakis

Đây là giải pháp đơn giản, ít công sức để giải quyết vấn đề cụ thể, có thể áp dụng cho nhiều trường hợp sử dụng nhất thời.

Làm việc với API PagerDuty nhưng không biết cách tự động hóa lấy thông tin vCard đơn giản bằng các công cụ cơ bản như curl và awk? Bài viết này sẽ giúp bạn tiết kiệm thời gian và tránh phải viết nhiều dòng mã phức tạp.

The AI Licensing Market Is Visible in HTTP Status Codes

Tác giả điều tra cách các nhà xuất bản khác phục vụ quảng cáo cho các tác nhân AI, sau khi phân tích cách Time triển khai.

Lập trình viên nên đọc bài này để hiểu về cách các nền tảng web hiện đại (như Time) tích hợp hệ thống phân phối quảng cáo AI thông qua HTTP status codes, giúp bạn tìm hiểu về cơ chế mới trong việc tích hợp hệ thống công nghệ và bảo mật cho ứng dụng của mình.