Đang tải bảng tin…
Towards Data Science0 Hot0 bình luận20 phút đọc
That Is Embarrassing: Why Frontier AI Still Makes Things Up, and What to Do About It
Frontier AI models still hallucinate confidently in 2026, causing real damage — from Cursor's support bot inventing policies, to Sullivan & Cromwell filing 40+ fake legal citations, to an AI agent deleting a production database in nine seconds. The post explains why this happens through the lens of LLM internals: models predict the next token rather than retrieving facts, were trained on benchmarks that reward guessing over abstaining, and contain a 'do I know this?' circuit that can misfire on familiar-sounding inputs, releasing a 'don't fabricate' brake even when no real knowledge exists. Anthropic's interpretability research (features, steering, causal swaps) is used to make this mechanism concrete. Practical mitigations include prompting for abstention and actually stress-testing it, requiring human verification for high-stakes outputs, and scoping agent permissions to minimize blast radius. Semantic entropy — sampling the same question multiple times and clustering meanings — is highlighted as an elegant production-level hallucination detector.
Nguồn: https://towardsdatascience.com/that-is-embarrassing-why-frontier-ai-still-makes-things-up-and-what-to-do-about-it. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Đề xuất cho bạn
sean goedecke2 Hot9 phútAI
In defense of not understanding your codebase
Bài viết bảo vệ quan điểm làm việc với hiểu biết không đầy đủ về codebase trong hệ thống phần mềm lớn, phản bác luận điểm "Lập trình như xây dựng lý thuyết" của Peter Naur khi cho rằng việc xây dựng lại toàn bộ hệ thống khi kiến thức nhóm bị mất là không khả thi ở quy mô lớn. Các kỹ sư hiện đại phải đưa ra quyết định tự tin dù hiểu biết không hoàn chỉnh, đồng thời xem "duy trì lý thuyết về codebase" chỉ là một giá trị kỹ thuật trong số nhiều giá trị khác.
Những lập trình viên làm việc trong hệ thống lớn sẽ hiểu rằng không thể duy trì sự hiểu toàn bộ mã nguồn từ đầu, nhưng vẫn cần làm việc hiệu quả khi thiếu kiến thức chi tiết—điều này giúp họ tránh rơi vào rắc rối khi phải "xóa và viết lại" mã như một số quan điểm cổ điển đề xuất.
