We Had 13 Engineers Spend Three Months Finding Vulnerabilities with LLMs
Bối cảnh: đội ngũ 13 kỹ sư đã dành ba tháng để áp dụng các mô hình LLM tiên tiến vào việc quét mã nguồn nhằm tìm lỗ hổng bảo mật. Nguyên nhân kỹ thuật: họ sử dụng các LLM frontier như GPT‑4‑Turbo và Claude‑2 để tạo các test case tự động, phân tích dữ liệu flow và đề xuất các patch tiềm năng. Hệ quả: qua quá trình này nhóm đã phát hiện hơn 1.200 vấn đề bảo mật, trong đó 85% được xác nhận là lỗi thực và đã được vá trước khi bản phát hành chính thức. Điều đáng học: mặc dù LLM có thể tăng tốc độ phát hiện lỗi gấp khoảng 4‑5 lần so với phương pháp thủ công truyền thống, nhưng vẫn cần sự Review của con người để loại bỏ false positive và xác định mức độ nguy hiểm thực. Bài học chính là kết hợp LLM vào quy trình “pressure washing” mã nguồn chỉ hiệu quả khi có ngân sách đủ cho thời gian của kỹ sư và cơ chế xác thực nghiêm ngặt.
Bài viết chia sẻ phương pháp sử dụng mô hình ngôn ngữ tiên tiến để dò lỗ hổng bảo mật trong codebase với hiệu quả cao.
