#spring-ai

MCP Logging in Spring AI

Spring AI giới thiệu cơ chế logging cho MCP (Model Context Protocol) trên cả server và client. Ghi log trong Spring AI MCP được thực hiện thông qua class McpLogger với các mức độ log khác nhau như TRACE, DEBUG. Việc implement logging này giúp tracking các request/response giữa server và client một cách chi tiết. Nếu bạn đang xây dựng ứng dụng AI sử dụng Spring AI và MCP, việc hiểu cơ chế logging này rất quan trọng để debug và tối ưu hiệu năng.

Bài viết giúp lập trình viên hiểu cách triển khai và sử dụng MCP logging trong Spring AI để giám sát hiệu năng và gỡ lỗi hệ thống AI.

Agentic WMS — Part 1: Where AI Agents Add Value

Bài viết mô tả một dự án thử nghiệm sử dụng tình huống logistics quen thuộc để xem cách một AI agent có thể được tích hợp vào quy trình làm việc thực tế của một hệ thống quản lý kho (WMS). Trong phần đầu, tác giả trình bày bối cảnh WMS và xác định các điểm mà AI agent có thể tạo ra giá trị, như tối ưu hóa việc theo dõi hàng tồn và cảnh báo thiếu hàng. Phần tiếp theo sẽ xác định và kết nối agent bằng Java cùng với framework Spring AI để cho agent truy cập dữ liệu và thực hiện các hành động tự động. Cuối cùng, phần thực thi sẽ thu thập bối cảnh, đưa ra quyết định bổ hàng và thực hiện hành động khi cần thiết. Từ đó, bài học chính là việc xác định rõ vai trò cụ thể của AI agent trong luồng công việc logistics giúp tập trung nỗ lực phát triển vào những nơi mang lại lợi ích đo lường được.

Bài viết giúp hiểu cách AI Agent tích hợp vào quy trình thực tế và tạo giá trị trong hệ thống WMS.

Spring AI Modular RAG and TypeSafe Jev: Retrieve More, Keep Only What Answers

Level up your Java code and explore what Spring can do for you.

Spring AI 2.1.0-M1 Available Now

Spring AI phiên bản 2.1.0-M1 vừa được phát hành, mở ra cơ hội nâng cấp code Java với các tính năng mới. Bản cập nhật này tích hợp thêm các model AI lớn như OpenAI GPT và Anthropic Claude, giúp Java developers dễ dàng tích hợp AI vào ứng dụng. Điểm đáng chú ý là framework này cung cấp interface thống nhất để làm việc với nhiều nhà cung cấp AI khác nhau, giảm thiểu phụ thuộc vào vendor cụ thể. Java developers nên cân nhắc sử dụng Spring AI để tận dụng sức mạnh của AI một cách trực tiếp và có cấu trúc trong ứng dụng Spring của mình.

Spring AI 2.1.0-M1 mang đến những tính năng mới giúp bạn nâng cấp code Java và khám phá khả năng mạnh mẽ của Spring.

A Guide to Structured Output in Spring AI

Bối cảnh: Spring AI đang phát triển hỗ trợ structured output từ LLMs để dễ dàng xử lý dữ liệu. Nguyên nhân kỹ thuật: Module spring-ai-core hiện đang thử nghiệm tính năng prompt templates với ListOutputType và MapOutputType để định dạng dữ liệu đầu ra. Hệ quả: Các lập trình viên có thể sử dụng @Bean để cấu hình prompt templates, biến output từ LLM thành các cấu trúc dữ liệu hữu ích. Điều đáng học: Ví dụ với bean cấu hình "generateListPrompt" cho ListOutputType và "generateMapPrompt" cho MapOutputType giúp minh họa cách triển khai thực tế.

Hướng dẫn này giúp lập trình viên sử dụng Spring AI để nhận kết cấu dữ liệu có trật tự từ mô hình ngôn ngữ lớn (LLM).

Spring AI and TypeSafe Jev: Fast, Cheap, Structured Decisions

Level up your Java code and explore what Spring can do for you.

Prompt Caching Support in Spring AI with Anthropic Claude

Spring AI hiện đã hỗ trợ prompt caching cho Anthropic Claude, giúp tối ưu hóa chi phí và hiệu suất xử lý. Caching hoạt động bằng cách lưu trữ và tái sử dụng prompt và kết quả tương ứng, giảm đáng kể token được tính phí (có thể lên đến 75% tiết kiệm với Claude 3 models). Tuy nhiên, tính năng này có giới hạn khi làm việc với các model như Claude 3 Haiku, Sonnet và Opus do giới hạn về độ dài prompt và số lượng token trong cache. Việc triển khai trong Spring AI khá đơn giản thông qua API PromptCacheOptions, cho phép developer linh hoạt quản lý cache theo nhu cầu ứng dụng.

Bài hướng dẫn này giúp lập trình viên tối ưu hiệu suất ứng dụng Spring AI bằng cách tận dụng tính năng prompt caching cho mô hình Anthropic Claude.

Building an Agentic Warehouse Management System — Part 3: Tools, Decisions, and Actions

Bối cảnh của bài viết tiếp tục chuỗi series về xây dựng hệ thống quản lý kho có agent, tập trung vào giai đoạn thực thi kế hoạch từ phần 2. Nguyên nhân kỹ thuật là cần triển khai các công cụ controlled tools để thực thi từng task, đồng thời thu thập operational và business context. Hệ quả là agent có thể đưa ra quyết định replenishment và hành động phù hợp dựa trên ngữ cảnh đã thu thập. Điều đáng học là cách agent tích hợp các công cụ cụ thể và quy trình ra quyết định tự động trong môi trường warehouse management.

Bài viết này giúp lập trình viên hiểu cách triển khai hệ thống quản lý kho thông minh bằng cách xây dựng công cụ, ra quyết định và thực hiện hành động hiệu quả.

Building an Agentic Warehouse Management System — Part 2: Java and Spring AI

We will look at how the agent is built with Java and Spring AI, how its capabilities and boundaries are defined, how it is triggered by the WMS, and how the planner turns the agent’s goal into an execution plan.

LLM Streaming in the Embabel Agentic AI Framework

Learn to how to use Embabel AI to automatically parse objects as the data arrive in a stream from the large language model you use in your application.

Spring AI 2.0.1 Available Now

Spring AI vừa ra mắt phiên bản 2.0.1, tiếp nối các cải tiến trong ekosystem Spring. Phiên bản này bổ sung hỗ trợ cho các mô hình LLM và tích hợp sẵn với Spring Boot 3.x, đồng thời nâng cấp dependency management sang Maven Central. Với các bean AI sẵn có, các lập trình viên có thể giảm thời gian triển khai và cải thiện hiệu năng inference trên JVM. Khi cân nhắc nâng cấp, hãy xem xét các breaking changes trong migration guide và tận dụng các công cụ monitoring mới. Vì vậy, nếu bạn đang sử dụng Spring trong các dự án AI, việc thử Spring AI 2.0.1 là một bước đáng quan tâm.

Spring AI 2.0.1 mang lại những cải tiến quan trọng giúp nâng cao hiệu suất và khả năng tích hợp trí tuệ nhân tạo vào ứng dụng Java của bạn.

Spring AI 2.0 in Practice: Adding LLM Features to a Java Web App

Bài viết hướng dẫn thực hành Spring AI 2.0, so sánh nó với LangChain4j, và triển khai ứng dụng web Java tích hợp các tính năng LLM như giao diện chat, streaming, RAG cùng quản lý chi phí token.

Lập trình viên Java muốn nhanh chóng tích hợp trí tuệ nhân tạo vào ứng dụng web của mình mà không cần kiến thức sâu về mô hình LLM mà vẫn có thể xây dựng giải pháp hiệu quả, thực hành và tối ưu hóa chi phí token.