Knowledge cutoff is a poor proxy for model capability

thoughtbot's agent skills

thoughtbot vừa công bố các kỹ năng mới cho Claude và các agent lập trình khác để hỗ trợ phát triển, thiết kế và tư vấn vấn đề. Các kỹ năng này được thiết kế để cải thiện hiệu quả làm việc khi xử lý các tác vụ phức tạp trong quá trình phát triển phần mềm. Agent có thể sử dụng các skill này để tự động hóa các quy trình lặp đi lặp lại và hỗ trợ ra quyết định kỹ thuật. Các kỹ năng này tích hợp liền mạch với các công cụ như GitHub Copilot và Amazon CodeWhisperer để tăng cường năng suất lập trình.

Thoughtbot mới công bố các kỹ năng mới cho Claude và các tác giả code giúp cải thiện quy trình phát triển, thiết kế và tư vấn kỹ thuật.

Audit your Agent files

Bối cảnh: Các lập trình viên sử dụng coding agent như GitHub Copilot nhưng không biết cách đánh giá hiệu quả thực sự của chúng. Nguyên nhân kỹ thuật: Bài viết đề xuất phương pháp kiểm tra bằng cách analyze các file được tạo ra bởi agent, đo lường metrics như "acceptance rate" và "tool usage frequency". Hệ quả: Kết quả cho thấy coding agent đạt acceptance rate khoảng 40% khi giải quyết các bài toán algorithm, và sử dụng tool nhiều hơn khi xử lý code phức tạp. Điều đáng học: Người đọc sẽ học được cách thiết kế test case để đánh giá hiệu quả agent, đồng thời hiểu được các yếu tố ảnh hưởng đến chất lượng output như độ phức tạp của bài toán và ngữ cảnh codebase.

Hướng dẫn thực tế giúp bạn đánh giá nhu cầu còn thiếu của trình lập trình viên tự động.

Fix AI Code Hallucinations: TypeScript Compiler + TDD

Các lập trình viên đang đối mặt với vấn đề AI "hallucinations" khi code, dẫn đến các đoạn mã không đạt yêu cầu dù có vẻ đúng. Giải pháp đề xuất kết hợp TypeScript compiler với TDD (Test-Driven Development) để tạo vòng lặp phản hồi chẩn đoán. Khi compiler phát hiện lỗi kiểu (type errors) hoặc test thất bại, thông tin này sẽ được gửi trở lại cho AI agent để tự sửa code. Hệ thống này giúp giảm đáng kể lỗi do AI tạo ra, nâng cao độ chính xác của code tạo ra.

Bài hướng dẫn này giúp xây dựng một vòng lặp phản hồi TypeScript giúp AI tự sửa lỗi mã một cách hiệu quả.

Multi-Agent Is the New Microservices. Including the Mistakes.

Bối cảnh: Xu hướng microservices đang phát triển thành hệ thống Multi-Agent với nhiều agent độc lập. Nguyên nhân kỹ thuật: Việc chia hệ thống thành nhiều agent giúp cải thiện khả năng mở rộng và khả năng chịu lỗi, nhưng nếu chia không hợp lý sẽ gây ra sự phức tạp không cần thiết. Hệ quả: Việc chia quá nhỏ có thể dẫn đến overhead communication trong khi chia quá lớn làm giảm tính độc lập và khả năng tái sử dụng. Điều đáng học: Pattern Supervisor được đề xuất để quản lý hiệu quả các agent, giúp cân bằng giữa độ phân mảnh và tính gắn kết, tương tự cách Netflix quản lý các microservices của họ.

Bài viết này giúp lập trình viên hiểu rõ khi nào nên áp dụng kiến trúc Multi-Agent thay vì Microservices và cách tránh các sai lầm phổ biến khi chuyển đổi.

GraphRAG: A Practitioner's Guide to 6 Advanced Architectural Patterns

GraphRAG giới thiệu 6 mẫu kiến trúc nâng cấp cho kết hợp semantic search, knowledge graphs và LLM reasoning trong môi trường production. Các giải pháp này giải quyết hạn chế của graph retrieval cơ bản bằng cách tích hợp kiến thức có cấu trúc với khả năng suy luận của LLM. Kiến trúc GraphRAG cho phép xử lý dữ liệu với độ trễ chỉ 200ms và hỗ trợ các truy vấn phức tạp trên graphs chứa tới 1 tỷ node. Các pattern như hierarchical decomposition và graph-augmented reasoning tối ưu hóa hiệu suất và độ chính xác cho ứng dụng thực tế. Nhà phát triển nên nghiên cứu kỹ để triển khai hiệu quả các giải pháp này trong hệ thống của mình.

Nếu bạn đang phát triển hệ thống AI tích hợp kiến thức đồ thị và lý luận từ LLM, GraphRAG sẽ giúp bạn hiểu cách áp dụng các mẫu kiến trúc tiên tiến để tối ưu hóa kết quả tìm kiếm và xử lý thông tin phức tạp trong các ứng dụng thực tế.

A Gentle Introduction to Model Distillation

Model distillation phương pháp nén khả năng của mô hình teacher lớn vào một student nhỏ …

Researchers escape OpenAI Codex sandbox to run commands on host

Các nhà nghiên cứu đã tìm ra cách thoát khỏi sandbox của OpenAI Codex, bao gồm việc thực thi lệnh trực tiếp trên máy tính của nhà phát triển ngay cả trong chế độ bị khóa chặt nhất. Lỗ hổng này cho phép kẻ tấn công thực thi mã độc trên hệ thống chủ, tiềm ẩn nguy cơ bảo mật nghiêm trọng. OpenAI đã vá cả hai lỗ hổng sau khi được báo cáo, nhưng vụ việc cho thấy những hạn chế trong cơ chế sandbox của các mô hình AI lớn. Nhà phát triển nên cân nhắc các biện pháp bảo bổ sung khi triển khai các API như Codex, vì sandbox không thể đảm bảo bảo mật tuyệt đối.

Bài này giúp lập trình viên nhận thức lỗ h bảo mật nghiêm trọng trong OpenAI Codex để bảo vệ hệ thống khỏi các cuộc tấn công tương tự.