#mutation-testing

What is mutation testing?

Kiểm thử đột biến (mutation testing) đánh giá chất lượng bộ kiểm thử bằng cách chủ động thay đổi nhỏ mã nguồn (đột biến) và kiểm tra xem các bài kiểm thử hiện có có phát hiện được hay không. Khác với độ phủ mã (code coverage), đột biến cho thấy liệu các khẳng định (assertions) có thực sự phát hiện lỗi. Quá trình này tạo ra các đột biến thông qua các toán tử như thay thế quan hệ hoặc đảo ngược boolean, chạy bộ kiểm thử cho từng đột biến, và báo cáo tỷ lệ đột biến bị tiêu diệt (mutation score).

Lập trình viên nên đọc bài này để hiểu cách đánh giá chất lượng suite test thực sự thông qua việc kiểm tra khả năng phát hiện lỗi ngay cả khi chỉ có coverage 100%, không chỉ là việc các dòng code được chạy.

Confidence Techniques for Guiding AI Migration

Di chuyển hệ thống cũ sang nền tảng mới vốn đã khó, nhưng công cụ AI đã thay đổi đáng kể chi phí của quá trình này. Việc sinh code trở nên nhanh chóng và tiết kiệm, nhưng vẫn cần đảm bảo chất lượng code sinh ra ngang bằng hoặc tốt hơn code do con người viết.

Lập trình viên nên đọc bài này để tìm hiểu cách xây dựng tự tin khi sử dụng AI hỗ trợ chuyển đổi mã cũ, tránh rủi ro về chất lượng và hiệu suất mà không mất thời gian kiểm chứng thủ công.

Home

cargo-nextest is a next-generation test runner for Rust that offers up to 3x faster test execution than the standard cargo test, a clean UI, powerful test selection via an expression language, and CI-focused features like test partitioning, JUnit XML export, and archiving. It supports setup scripts, stress testing, slow test detection, automatic retries, record/replay of CI runs, and integrations with coverage tools, mutation testing, and debuggers. Cross-platform and open source, it is designed for projects of all sizes.

Mutation testing comes to DAML

Trail of Bits has expanded Mewt, their open-source mutation-testing engine, to support DAML — the language used for Canton Network smart contract applications. Mutation testing goes beyond code coverage by deliberately introducing small bugs (mutants) into code and checking whether the test suite catches them. DAML's built-in coverage only reports whether choices were exercised, not whether tests verify outcomes, making it easy to have 100% coverage while missing critical authorization bugs. Mewt adds two DAML-specific mutations targeting authorization primitives: Controller Party Swap (replacing one party in a controller clause) and Controller Party Removal (dropping a party from a multi-party controller list). A worked example shows how a payment contract with full coverage can still allow a seller to release funds without buyer confirmation — a surviving mutant that reveals a missing negative test. The tool uses tree-sitter-haskell grammar to parse DAML, requires only a simple mewt.toml config, and runs against existing test suites. Limitations include equivalent mutants and time cost scaling with suite size, making nightly/weekly cadence more practical than per-commit.

Markus Schirp and Mutation Testing

Markus Schirp, creator of the mutant gem, discusses mutation testing in Ruby and how it can help verify code correctness — especially relevant as AI-generated code becomes more prevalent. The episode explores how mutation testing works and why it may be a valuable tool for catching bugs that traditional test suites miss.