When to use SAST versus an LLM security scanner

Are LLMs still surprisingly bad at some simple tasks?

Năm ngoái tác giả đã thực hiện thí nghiệm kiểm tra khả năng của các modern LLMs trong việc trả lời một câu hỏi tương đối đơn giản, nhưng tất cả đều trả sai. Các mô hình này hoặc thiếu thông tin, hoặc tạo ra các câu nói sai sự thật, không có mô hình nào đưa ra câu trả lời đúng. Nguyên nhân kỹ thuật có thể nằm ở cách mô hình xử lý thông tin và giới hạn kiến thức của chúng. Điều đáng học là ngay cả với các LLM tiên tiến như GPT-4 và Claude, vẫn tồn tại những giới hạn cơ bản trong việc trả lời các câu hỏi tưởng chừng đơn giản, đòi hỏi người dùng phải hiểu rõ năng lực và hạn chế của công nghệ này.

Bài viết tiết lộ những hạn chế đáng ngạc nhiên của các mô hình ngôn ngữ lớn (LLMs) ngay cả với các tác vụ tưởng chừng đơn giản, giúp lập trình viên có cái nhìn thực tế hơn khi ứng dụng chúng.