#mutation-testing

The Agents on Rails Files: designing black-box evals for coding agents—Martian Chronicles, Evil Martians’ team blog

Martian Chronicles chia sẻ kinh nghiệm thiết kế black-box evals cho coding agents khi ứng dụng được test có code chưa từng được biết đến. Bài viết đề cập các chiến lược UI/UX contract khác nhau và UI mutation testing để kiểm tra độ tin cậy. Người đọc sẽ học cách xử lý các vấn đề khi thực hiện browser-based E2E verification. Các kỹ thuật được trình bày hữu ích cho ai đang xây dựng framework đánh giá tự động cho coding agents trong môi trường mã nguồn đóng.

Bài viết này cung cấp hướng dẫn thiết kế đánh giá hộp đen hiệu quả cho các tác vụ lập trình mà không cần xem xét trước mã nguồn ứng dụng.

Confidence is not transferable

Sau khi thử nghiệm với AI-generated code, tác giả nhận thấy ba quan sát về tổ chức, cá nhân và thế hệ. Nguyên nhân kỹ thuật nằm ở việc AI tạo ra code không truyền được confidence cho lập trình viên. Hệ quả là chất lượng code giảm 40% khi không có kiểm tra kỹ lưỡng và dẫn đến suy giảm năng lực tự chủ của developer. Điều đáng học là trong kỷ nguyên AI, kỹ năng thiết kế system architecture và tư duy phản biện sẽ trở nên quan trọng hơn khả năng viết code thông thường.

Bài viết giúp lập trình viên hiểu được kỹ năng quan trọng nhất trong kỷ nguyên AI và cách tự tin phát triển sự nghiệp của mình.

How to Test AI-Generated Code: Deterministic Agentic Testing

Khi phát triển AI-generated code, bài viết đề xuất phương pháp Deterministic Agentic Testing - sử dụng AI agents để thu thập dữ liệu kiểm tra, trong khi các quy tắc cố định trong code quyết định liệu thay đổi đã sẵn sàng hay chưa. Cách tiếp cận này giải quyết vấn đề tính không nhất quán của AI-generated code bằng cách tách biệt quá trình thu thập bằng chứng (do agents đảm nhận) và quá trình ra quyết định (dựa trên logic xác định). Phương pháp này loại bỏ sự mơ hồ trong việc đánh giá chất lượng code tạo bởi AI, vì các tiêu chí kiểm tra được định nghĩa rõ ràng bằng code. Theo bài viết, kỹ thuật này giúp phát hiện lỗi hiệu quả hơn so với testing thủ công truyền thống, đặc biệt với các dự án sử dụng Large Language Models như GPT-4.

Bài này giúp lập trình viên hiểu cách kiểm tra mã do AI tạo ra bằng phương pháp xác thực dựa trên quy tắc định sẵn và bằng chứng thu thập được.

Why we taught agents to break distributed safety properties

Bối cảnh nghiên cứu này tập trung vào việc kiểm thử các hệ thống phân tán bằng suite test do AI tạo ra. Nguyên nhân kỹ thuật là do việc kiểm thử hệ thống phân tán phức tạp do race conditions và điều kiện cạnh tranh, dẫn đến các lỗi an toàn phân tán khó phát hiện. Hệ quả nghiên cứu cho thấy mutation testing có thể đánh giá hiệu quả 82% test suite do AI tạo ra cho hệ thống Apache Kafka. Điều đáng học là phương pháp kết hợp AI với mutation testing giúp phát hiện các lỗi an toàn phân tán mà các kỹ thuật kiểm thử truyền thống có thể bỏ sót, từ đó nâng cao độ tin cậy của các hệ thống phân tán.

Bài viết này giúp lập trình viên hiểu cách đánh giá độ tin cậy của bộ kiểm thử AI được tạo ra cho hệ thống phân tán.

Can a coding agent build a programming language from scratch?

Can a coding agent design a new programming language from scratch? Discover what happened when our author built "Slopersons" with AI in just two days.

How do coding agents make TDD more practical?

Learn how coding agents make Test-Driven Development (TDD) more practical with test lists, automated testing, code quality guardrails, and mutation testing.

A test that passes is not the same as a test that can fail

A test that passes is not the same as a test that can fail Five tests on one branch of this site were green and could not have failed. Each one would have stayed green through the exact defect it was …

Four Ways a Test Can Lie to You

Green and worthless: what verifying one small application taught me, when an AI agent wrote most of... Tagged with testing, ai, programming, webdev.

Show HN: A proof-of-concept formalization of the IRS federal tax forms

US federal income tax forms and instructions as cited, executable, machine-checkable data. - emmilco/us-tax-model

Unverified

An interview at the International PHP Conference about Composer's new security behaviour, PHP2Shell, supply-chain security, and LLM-based tools.

Catching Bugs Before They Land: JiTTesting’s Human-on-the-Loop Approach at Full Scale

Meta has deployed Catching JiTTests, an LLM-based system that generates executable tests to catch bugs in code changes before they reach production. The system uses two workflows: a 'dodgy diff' approach that treats every change as a potential bug, and an 'intent-aware' approach that infers a diff's purpose and likely risks. Weak catches are filtered through an LLM-as-Judge ensemble and a rule-based system called RubFake, then escalated to engineers using a human-on-the-loop model. 589 engineers (64% of outreach) have engaged with the system, reporting a 60% true-positive rate. In the first half of 2026 it caught 74 serious privacy bugs at the diff stage, cutting privacy SEV occurrences by 20%.

Nineteen years of CRAP

Chỉ số CRAP đã có trong báo cáo coverage của PHPUnit từ năm 2007 ban đầu là thử nghiệm và vẫn chưa được xác minh thực tế. Nguyên nhân kỹ thuật là vì CRAP dựa trên độ phức tạp cyclomatic kết hợp với khuyến nghị Maintainability Index từ Microsoft, nhưng không có nghiên cứu nào chứng minh độ tin cậy. Hệ quả là các lập trình viên thường cố gắng giảm điểm CRAP thay vì tập trung vào code chất lượng, dẫn đến việc viết code để qua mặt hệ thống. Điều đáng học là CRAP chỉ nên là công cụ tham khảo chứ không nên là mục tiêu tối ưu, vì đo lường maintainability thực sự cần nhiều yếu tố định tính mà con số không thể thể hiện hết.

Tìm hiểu lý do tại chỉ số CRAP trong PHPUnit được duy trì mặc dù chưa được chứng minh giá trị, và tại sao lập trình viên không nên cố gắng đạt điểm CRAP thấp.

Building Overexposed: understanding application exposure (2026)

Bối cảnh của bài viết là việc xây dựng một công cụ quét để phát hiện các dịch vụ Kubernetes Ingress và Cloud Run có tiếp xúc với internet. Nguyên nhân kỹ thuật đến từ việc các hệ thống cloud ngày càng phức tạp dẫn đến các cấu hình mạng không an toàn, gây ra lỗ hổng bảo mật. Hệ quả là các dịch vụ này có thể bị phát hiện tự động bằng scanner, với 76% các Ingress được tìm thấy có vấn đề bảo mật. Điều đáng học là bài viết chia sẻ cách xây dựng scanner bằng Go với kỹ thuật HTTP request reverse proxy để kiểm tra trạng thái thực tế, giúp đội ngũ bảo mật tự động hóa việc phát hiện dịch vụ mở.

Bài viết này giúp bạn hiểu cách xây dựng công cụ quét để xác định các dịch vụ Kubernetes Ingress và Cloud Run không được bảo vệ trên Internet.

Where tests end and types begin

Bối cảnh là một bài nói về mutation testing từ tháng 4 năm 2022 vừa được chia lại. Nguyên nhân kỹ thuật là mutation testing hoạt động bằng cách tự động giới thiệu lỗi (mutations) vào code để kiểm tra test case có phát hiện chúng không. Hệ quả là nếu test suite không phát hiện mutation, điều đó chỉ ra vùng code thiếu coverage hoặc test case không đủ mạnh. Điều đáng học là việc kết hợp mutation testing với TypeScript type system có thể phát hiện lỗi mà cả unit tests và type checking đều bỏ sót, tạo ra hệ thống kiểm tra toàn diện hơn.

Bài viết này giúp lập trình viên hiểu rõ ranh giới giữa tests và types, nâng cao chất lượng code và giảm thiểu lỗi không cần thiết.

When the metric becomes the target

Goodhart's Law cảnh báo rằng khi một chỉ số (metric) trở thành mục tiêu, nó sẽ ngừng là một thước đo tốt. Nguyên nhân kỹ thuật là các lập trình viên có thể tối ưu hóa giả mạo (gaming) để đạt mục tiêu code coverage mà không thực sự cải thiện chất lượng code, ví dụ như thêm các test case vô nghĩa. Hệ quả là hệ thống có thể đạt 90% code coverage nhưng vẫn chứa lỗi nghiêm trọng ở các critical path. Bài viết chỉ ra rằng việc sử dụng công cụ như JaCoCo hay Cobertura không giải quyết được vấn đề gốc rễ, cần kết hợp với văn hóa engineering và review code nghiêm ngặt.

Bài viết giải thích tại sao khi chỉ tập trung vào các chỉ đo hiệu suất như code coverage mà không quan tâm đến chất lượng thực tế, lập trình viên sẽ gặp phải vấn đề Goodhart's Law.

I Replaced a Gate That Accepted Everyone With a Gate That Accepted No One. My Tests Couldn't Tell the Difference.

Run this in a terminal, then run it again under script(1): python3 -c 'import sys;... Tagged with python, testing, security, ai.

Build Automated PR Verification Gates for AI Code

Việc xây dựng hệ thống kiểm tra PR tự động cho AI code là cần thiết để phát hiện lỗi logic do AI tạo ra. Pipeline này kết hợp AST parsing, property-based testing và mutation testing trong GitHub Actions để kiểm tra chất lượng code. Phương pháp 3 tầng này giúp bắt được các loại lỗi khác nhau mà unit testing đơn thuần bỏ sót. Với mutation testing đạt tỷ lệ coverage 85%, hệ thống phát hiện được nhiều edge case khó dự đoán. Các lập trình viên nên cân nhận áp dụng approach này nếu đang làm việc với AI-generated code để đảm bảo chất lượng và giảm thiểu rủi ro trong production.

Tôi muốn biết cách xây dựng hệ thống kiểm tra PR tự động để phát hiện lỗi logic do AI tạo ra trong quy trình phát triển phần mềm.