Passing User Identity safely across Agents and Enterprise Systems

It Is Called API Design, You MCP Hustlers

Sau APIDays ở London, tác giả nhận ra có thể đánh giá bài MCP (Microsoft Cognitive Services Platform) chỉ trong năm đầu tiên. Nguyên nhân là phần lớn các bài nói về API design thường thiếu chiều sâu kỹ thuật và tập trung vào marketing. Hệ quả là người nghe lãng phí thời gian vào những bài không mang lại giá trị thực sự. Điều đáng học là cần phân biệt rõ đâu là kiến thức API design thực chất, đâu chỉ là chiêu trò marketing của các nhà cung cấp công nghệ.

Bài viết này giúp lập trình viên nhận diện các bài thuyết trình API chất lượng thấp và tránh lãng phí thời gian với những nội dung thiếu chiều sâu thực tế.

DESIGN.md vs. Design System MCP: Which Does What?

DESIGN.md mang lại tài liệu thiết kế có thể hoạt động trên mọi công nghệ stack, trong khi …

Pizza Bot: Open-Source Inbox for Background AI Agents

Tại AWS, các nhà phát triển vừa công khai mã nguồn Pizza Bot, một ứng dụng tự lưu trữ được thiết kế để cho phép các AI agents chạy tác vụ nền và trả kết quả qua giao diện inbox-style. Giải pháp này giải quyết vấn đề kết nối giữa AI agents và người dùng một cách hiệu quả trong các ứng dụng web. Pizza Bot sử dụng WebSocket để giao tiếp thời gian thực giữa client và server, cùng với backend built trên Python và FastAPI. Đáng học hỏi là cách kiến trúc này giúp tách biệt xử lý AI agents khỏi giao diện người dùng, cải thiện trải nghiệm và giảm độ trễ. Đây là lựa chọn thay thế hữu ích cho các ứng dụng cần tích hợp AI agents với tính riêng tư và kiểm soát cao hơn.

Lập trình viên muốn tự động hóa quy trình làm việc và tích hợp các AI agents vào hệ thống của mình sẽ tìm hiểu Pizza Bot để xây dựng một giải pháp tự động hóa mở rộng, đơn giản và hiệu quả mà không phụ thuộc vào dịch vụ cloud.

Architecting with LLMs: use plain old code when you can, LLMs when you must

Khi thiết kế hệ thống với LLM, hãy sử dụng plain old code (POC) cho các tính năng có thể …

Agents have made CI the bottleneck. Faster pipelines are the wrong fix.

Agents tại Anthropic đã làm tăng khối lượng job CI lên 25 lần, biến nó thành trở ngại chính. Giải pháp tăng tốc pipeline vẫn chưa khắc phục được vấn đề cốt lõi vì chúng chỉ kiểm tra repository chứ không phải hệ thống phân tán mà hệ thống phải tương tác. Sự gia tăng job CI này cho thấy mô hình truyền thống không còn phù hợp với quy mô và độ phức tạp hiện tại. Cần tư duy lại về cách thiết kế CI/CD để kiểm tra toàn hệ thống, không chỉ là code đơn thuần. Bài này có giá trị cho lập trình viên làm việc với các hệ thống lớn và phân tán.

Đọc bài này giúp bạn hiểu tại sao tối ưu CI bằng cách tăng tốc pipeline không giải quyết được vấn đề khi agents làm tăng khối lượng công việc lên gấp 25 lần.

Arc Notes Weekly #108: What’s Worth Building

Trong bối cảnh AI đang phát triển với chi phí thấp hơn và giao diện nhanh hơn, bài viết tập trung vào việc xây dựng các ứng dụng agent. Nguyên nhân kỹ thuật chính là sự kết hợp giữa các công nghệ như GPT-4, LangChain, và Vector Database giúp giảm chi phí xử lý. Hệ quả là khả năng tạo ra các ứng dụng tự động hóa phức tạp hơn với hiệu suất cao hơn, nhưng đòi hỏi sự đánh giá kỹ lưỡng để chuyển đổi công việc agent thành phần mềm hữu ích. Điều đáng học là cần có sự cân bằng giữa công nghệ tiên tiến và khả năng đánh giá dự án để đảm bảo tính thực tế và giá trị thực sự.

Bài viết này cung cấp kiến thức thiết yếu để chuyển đổi công việc AI thành phần mềm hữu ích với chi phí thông minh và giao diện nhanh chóng.

Your Agent Passed the Demo. Here’s How I Find Out If It Still Works Next Week.

Bối cảnh: Các agent thường chỉ hoạt động tốt trong demo nhưng gặp vấn đề khi triển khai thực tế. Nguyên nhân kỹ thuật: Việc thiếu hệ thống đánh giá định kỳ khiến không phát hiện ra sự suy giảm chất lượng output khi các thành phần phụ thuộc thay đổi. Hệ quả: Agent có thể đột ngột thất bại do các dependency update, khiến dự án rủi ro cao. Điều đáng học: Giải pháp includes tạo golden sets - tập dữ liệu kiểm tra cố định, và transcript checks - hệ thống ghi lại lịch sử tương tác để so sánh hiện tại với quá khứ. Triển khai evaluation loop với framework như LangChain hoặc LlamaIndex giúp tự động hóa quá trình này, đảm bảo agent duy trì chất lượng qua các lần cập nhật.

Bài viết cung cấp phương pháp đánh giá thực tế để đảm bảo agent hoạt động ổn định sau khi vượt qua demo.

Stop blaming the model for slow AI. Use Doherty’s threshold as a guideline.

AI chậm không phải do model mà do vi phạm Doherty's threshold. Nguyên nhân kỹ thuật là thời gian phản ứng của hệ thống lớn hơn 100ms, ngưỡng mà con người cảm nhận được độ trễ. Hệ quả là user experience giảm sút nghiêm trọng, khiến ứng dụng bị đánh giá là phản hồi kém. Bài viết hướng dẫn sửa lỗi trong vòng 1 tuần bằng cách tối ưu hệ thống backend và caching layer. Điều đáng học là áp dụng Doherty's threshold ngay từ đầu thiết kế thay vì chờ khi user phàn nàn.

Bài này giúp lập trình viên hiểu rằng hiệu suất AI chậm không hoàn toàn do mô hình mà liên quan đến ngưỡng Doherty.