Last 3 days: AI Evals, October cohort

Your Agent Passed the Demo. Here’s How I Find Out If It Still Works Next Week.

Bối cảnh: Các agent thường chỉ hoạt động tốt trong demo nhưng gặp vấn đề khi triển khai thực tế. Nguyên nhân kỹ thuật: Việc thiếu hệ thống đánh giá định kỳ khiến không phát hiện ra sự suy giảm chất lượng output khi các thành phần phụ thuộc thay đổi. Hệ quả: Agent có thể đột ngột thất bại do các dependency update, khiến dự án rủi ro cao. Điều đáng học: Giải pháp includes tạo golden sets - tập dữ liệu kiểm tra cố định, và transcript checks - hệ thống ghi lại lịch sử tương tác để so sánh hiện tại với quá khứ. Triển khai evaluation loop với framework như LangChain hoặc LlamaIndex giúp tự động hóa quá trình này, đảm bảo agent duy trì chất lượng qua các lần cập nhật.

Bài viết cung cấp phương pháp đánh giá thực tế để đảm bảo agent hoạt động ổn định sau khi vượt qua demo.

Everyone's learning to prompt better. That's the wrong skill.

Công nghệ AI đang tạo ra áp lực lớn để mọi người cải thiện kỹ năng prompt engineering với …

EP228: How SSH Works

Secure Shell (SSH) cung cấp phương thức truy cập máy từ xa an toàn qua mạng không bảo mật. Quá trình bắt đầu bằng việc thiết lập kết nối TCP từ SSH client đến máy từ xa (SSH server). Sử dụng cơ chế xác thực như password, public key hoặc keyboard interactive để đảm bảo bảo mật. SSH mã hóa toàn bộ dữ liệu truyền tải bằng các thuật toán như AES, ChaCha20 và EdDSA. Lập trình viên nên tìm hiểu sâu về cách SSH triển khai key exchange, symmetric encryption và MAC verification để hiểu rõ hơn về bảo mật mạng.

Bài này giải thích cách hoạt động của SSH giúp lập trình viên hiểu rõ hơn về bảo mật truy cập máy từ xa và cấu hình hệ thống hiệu quả.

The Agent Said It Was Done. The Database Disagreed.

Bối cảnh từ Microsoft trên Hugging Face cho thấy vấn đề đồng bộ dữ liệu giữa agent và database. Nguyên nhân kỹ thuật nằm ở việc sử dụng Redis cho caching mà không có cơ chế invalidation hiệu quả, dẫn đến dữ liệu cũ được trả về. Hệ quả là agent báo "đã hoàn thành" trong khi database vẫn giữ trạng thái cũ, gây ra sai lệch logic. Bài viết nhấn mạnh tầm quan trọng của Redis cache invalidation policy và transaction isolation level trong PostgreSQL. Điều đáng học là phải thiết kế hệ thống xử lý race condition và đảm bảo data consistency giữa các component.

Bài viết này giúp lập trình viên hiểu được cách khắc phục sự cố khi AI agent báo công việc hoàn tất nhưng database không đồng nhất.

The architecture behind an AI tutor, four months in

Bối cảnh: AI tutor đã phát triển qua 4 tháng với kiến trúc dựa trên agents, embeddings, cơ chế human-in-the-loop và quản lý chi phí. Nguyên nhân kỹ thuật: Hệ thống sử dụng vector embeddings để xử lý ngôn ngữ tự nhiên, kết hợp với agents để thực hiện các tác vụ giáo dục, và cơ chế human-in-the-loop để điều chỉnh khi cần thiết. Hệ quả: Kiến trúc này giúp giảm 30% chi phí xử lý so với hệ thống trước đây, đồng thời cải thiện 25% độ chính xác trong phản hồi học tập. Điều đáng học: Quản lý cost hiệu quả là yếu tố sống còn khi triển khai AI ở quy mô lớn, cần cân bằng giữa tự động hóa và can thiệp của con người.

Bài viết này giúp lập trình viên hiểu rõ kiến trúc thực tế đằng sau một sản phẩm AI cốt lõi với các thành phần Agents, embeddings và human-in-the-loop.

Are LLMs still surprisingly bad at some simple tasks?

Năm ngoái tác giả đã thực hiện thí nghiệm kiểm tra khả năng của các modern LLMs trong việc trả lời một câu hỏi tương đối đơn giản, nhưng tất cả đều trả sai. Các mô hình này hoặc thiếu thông tin, hoặc tạo ra các câu nói sai sự thật, không có mô hình nào đưa ra câu trả lời đúng. Nguyên nhân kỹ thuật có thể nằm ở cách mô hình xử lý thông tin và giới hạn kiến thức của chúng. Điều đáng học là ngay cả với các LLM tiên tiến như GPT-4 và Claude, vẫn tồn tại những giới hạn cơ bản trong việc trả lời các câu hỏi tưởng chừng đơn giản, đòi hỏi người dùng phải hiểu rõ năng lực và hạn chế của công nghệ này.

Bài viết tiết lộ những hạn chế đáng ngạc nhiên của các mô hình ngôn ngữ lớn (LLMs) ngay cả với các tác vụ tưởng chừng đơn giản, giúp lập trình viên có cái nhìn thực tế hơn khi ứng dụng chúng.

Managed DevOps Pools: Scale Agents Without Burning Money — Daily DevOps & .NET

Managed DevOps Pools giúp tối ưu chi phí bằng cách tự động scale agents dựa trên nhu cầu thực tế. Công nghệ này sử dụng stateless hoặc stateless kết hợp với standby schedules để giảm lãng phí tài nguyên. Các tính năng như automatic prediction và image buffers giúp giảm thời gian khởi động agent xuống còn 5-10 giây so với 3-5 phút trước đây. Bạn có thể triển khai giải pháp này bằng Terraform, ARM template hoặc CLI, tiết kiệm đến 70% chi phí so với cách triển khai truyền thống.

Bài này giúp lập trình viên tối ưu hóa chi phí khi mở rộng quy mô agent trong DevOps bằng cách tận dụng các tính năng tự động hóa của Managed DevOps Pools.