We Kept Adding Context to Our AI Feature. It Kept Getting Worse

"The Agent Did Something Weird" Is Not a Bug Report

Khi xây dựng ứng dụng LLM, việc tracing và correlation ID trở nên quan trọng để theo dõi hành trình request. Bài viết giải thích kỹ thuật sử dụng 5 số liệu quan trọng trên dashboard như latency, token count và error rate để chẩn đoán chính xác vấn đề thay vì chỉ nhận xét "agent làm việc kỳ lạ". Nguyên nhân kỹ thuật nằm ở bản chất không xác định của LLM khiến việc debug trở nên khó khăn nếu thiếu dữ liệu đo lường đầy đủ. Hệ quả là nhà phát triển có thể xác định chính xác vị trí lỗi trong pipeline từ input đến output. Bài viết dạy chúng ta cách thiết kế hệ thống logging để biến báo mơ hồ thành thông tin có giá trị, giúp tối ưu hiệu suất và trải nghiệm người dùng.

Bài viết này giúp lập trình viên xây dựng ứng dụng LLM dễ gỡ lỗi bằng traces, correlation IDs và các chỉ số quan trọng.