#spring-ai

Spring AI : Structured Output

Spring AI cung cấp Structured Output Converters giúp chuyển đổi phản hồi văn bản thuần túy từ mô hình chat thành các đối tượng Java có kiểu (như Java object, List<String>, Map) mà không cần viết thủ công parser JSON hay nhắc lại yêu cầu "hãy phản hồi dưới dạng JSON hợp lệ" trong mỗi prompt.

Là người phát triển Spring Boot, bạn nên đọc bài này để khám phá cách tự động chuyển đổi kết quả từ mô hình AI (chẳng hạn chatbot) thành các đối tượng Java chuẩn, tiết kiệm thời gian và tránh phải viết mã giải析 JSON thủ công.

Building LLM-as-a-Judge Using Recursive Advisors in Spring AI

Bài viết hướng dẫn từng bước triển khai mô hình LLM-as-a-Judge trong Spring AI bằng cách sử dụng recursive advisors, nơi LLM thứ hai đánh giá và cho điểm phản hồi của LLM sinh ra dựa trên tiêu chí rubric, sau đó phản hồi phê bình được đưa trở lại prompt để tinh chỉnh. Quá trình lặp lại cho đến khi đạt ngưỡng chất lượng hoặc giới hạn số lần thử tối đa.

Làm việc với LLM-as-a-Judge trong Spring AI giúp tối ưu hóa chất lượng phản hồi của AI bằng cách kết hợp đánh giá tự động và phản hồi lặp đi lặp lại, giảm thiểu sai sót và tăng hiệu suất cho các ứng dụng tự động hóa.

Spring AI 2.0 in Practice: Adding LLM Features to a Java Web App

Bài viết hướng dẫn thực hành Spring AI 2.0, so sánh nó với LangChain4j, và triển khai ứng dụng web Java tích hợp các tính năng LLM như giao diện chat, streaming, RAG cùng quản lý chi phí token.

Lập trình viên Java muốn nhanh chóng tích hợp trí tuệ nhân tạo vào ứng dụng web của mình mà không cần kiến thức sâu về mô hình LLM mà vẫn có thể xây dựng giải pháp hiệu quả, thực hành và tối ưu hóa chi phí token.

Introduction to Google GenAI Chat and Spring AI

Tìm hiểu cách tích hợp các model Gemini của Google vào ứng dụng Spring Boot thông qua Google GenAI Chat và Spring AI.

Lập trình viên muốn xây dựng ứng dụng thông minh với Spring Boot và tích hợp AI từ Google nên đọc để hiểu cách dễ dàng kết nối Gemini với dự án của mình bằng API, tiết kiệm thời gian và công sức trong việc phát triển.

Spring AI AutoMemoryTools

Công cụ Spring AI AutoMemoryTools giúp agent quyết định thông tin nào cần ghi nhớ về người dùng hoặc dự án.

Lập trình viên muốn tự động hóa quản lý thông tin dự án hoặc tương tác người dùng hiệu quả hơn bằng cách hiểu cách Spring AI AutoMemoryTools giúp agent lựa chọn và lưu giữ thông tin quan trọng.

Exploring Agent2Agent Protocol (A2A) With Spring AI

Tìm hiểu cách khiến các AI agent của bạn tự phát hiện và giao tiếp hiệu quả thông qua giao thức A2A (Agent2Agent) kết hợp Spring AI.

Nếu bạn đang phát triển các hệ thống AI đa agent, hiểu cách A2A và SpringAI giúp các agent tự khám phá, trao đổi thông tin và hợp tác hiệu quả sẽ giúp bạn tối ưu hóa tính thông minh cộng tác trong ứng dụng của mình.

Integrating LLMs with Ollama and Spring AI

Hướng dẫn tích hợp các mô hình ngôn ngữ lớn (LLM) do Ollama cung cấp vào ứng dụng Spring AI.

Một lập trình viên muốn tối ưu hóa hiệu suất ứng dụng của mình bằng cách kết hợp mô hình ngôn ngữ lớn Ollama với Spring AI để tiết kiệm chi phí và tăng tốc độ triển khai.

Embabel Agent Framework Reaches 1.0

Embabel Agent Framework vừa ra mắt phiên bản 1.0, cung cấp khung làm việc cho các AI agent trên nền Java, cho phép lập trình viên Java/Kotlin định nghĩa agent dưới dạng đối tượng miền có kiểu. Framework này được xây dựng dựa trên Spring AI và hỗ trợ đa phương thức.

Nếu bạn là lập trình viên Java/Kotlin chuyên về xây dựng hệ thống AI hoặc ứng dụng có logic agent phức tạp, Embabel 1.0 sẽ giúp bạn tiết kiệm thời gian và công sức trong việc định nghĩa và triển khai các agent theo kiểu đối tượng định nghĩa rõ ràng, từ đó tối ưu hóa hiệu suất và bảo trì cho dự án của bạn.

A Guide to Short-Term Memory Sessions in Spring AI

Spring AI giới thiệu Session, một lớp bộ nhớ ngắn hạn theo sự kiện giúp quản lý lịch sử hội thoại hiệu quả.

Lập trình viên phát triển ứng dụng giao tiếp cần đọc để hiểu cách sử dụng Short-Term Memory (STM) dựa trên sự kiện trong Spring AI để tối ưu hóa lưu trữ lịch sử cuộc trò chuyện, giảm chi phí và bảo đảm hiệu suất cao cho các ứng dụng chat phức tạp.

Spring AI : Advisors API

Khi tính năng AI vượt khỏi giai đoạn demo, lời gọi model không còn đơn giản. Bạn cần logging, lưu lịch sử hội thoại, truy xuất tài liệu liên quan, từ chối input nguy hiểm, ghi metrics và có thể validate output của model. Việc nhúng toàn bộ code xung quanh mỗi lời gọi ChatClient dần trở nên phức tạp khi thêm endpoint mới, streaming, dẫn đến mỗi model call có một khối code plumbing riêng biệt.

Lập trình viên nên đọc bài này để tìm hiểu cách xây dựng một infrastructure chung cho các API AI, tránh việc phải viết lại nhiều đoạn code quản lý lưu trữ yêu cầu, lịch sử đối thoại, kiểm soát an toàn và đo lường mỗi lần gọi mô hình.

Spring AI : Chat Memory

Các mô hình ngôn ngữ lớn vốn không lưu trạng thái giữa các lượt tương tác. Nếu gửi hai yêu cầu độc lập, lượt sau sẽ không nhớ gì về lượt trước, khiến chatbot trở nên "quên" trong cuộc trò chuyện.

Lập trình viên cần đọc bài này để hiểu cách thiết kế hệ thống chatbot trong Spring AI có thể tích hợp nhớ cuộc trò chuyện giữa các yêu cầu liên tiếp, giúp cải thiện trải nghiệm người dùng bằng cách giữ thông tin liên quan trong mỗi cuộc đối thoại.

Episode 63 “AI Solutions with Spring AI 2.0 [I/O]

Spring AI 2.0, released in June 2026, is discussed in this Inside Java Podcast episode recorded at JavaOne 2026. Dan Vega, Spring Developer Advocate at Broadcom, shares tips on building deterministic agents, working with MCP servers and skills, prompt engineering, and why Java is well-suited for enterprise AI development.

Integrating Local LLMs with Spring AI Using LM Studio

Learn how to use a locally hosted chat model and an embedding model with Spring AI in LM Studio.

LLM Tool Call Reasoning Using Embabel Agentic AI Framework

Tool-call reasoning improves observability of AI agents by capturing the rationale behind LLM tool selection. This tutorial compares two approaches: Spring AI's Tool Argument Augmenter (schema augmentation) and a simpler prompt-based protocol. It then demonstrates how the Embabel Agentic AI framework's 'thinking' mode provides a clean, prompt-based solution using ThinkingResponse and ThinkingBlocks. A parking recommendation use case illustrates how to define tools with @LlmTool, configure a two-phase system prompt for structured reasoning, and extract per-tool confidence scores and decision rationale from the LLM's output without modifying tool implementations or introducing synthetic schemas.

Building an AI-Powered Operations Assistant with Spring AI and MongoDB Atlas — Part 3: Stateful Workflows and Human-in-the-Loop

Part 3 of a series on building an AI-powered operations assistant using Spring AI and MongoDB Atlas. This installment introduces stateful workflow checkpointing to handle multi-step incident investigations that span session boundaries. Key additions include: a checkpoint document stored in MongoDB tracking workflow state, current step, and status (RUNNING, WAITING_APPROVAL, COMPLETED, FAILED); a ServiceStatusTool annotated with @Tool that lets the model fetch real-time service metrics; ThreadLocal-based context propagation for passing conversation IDs into tool methods; ToolExecution audit documents for full traceability; and pause/resume API endpoints that rehydrate investigation state. MongoDB serves as a unified persistence layer for runbooks, conversation memory, long-term knowledge, and workflow checkpoints. The architecture allows horizontal scaling since workflow state lives outside any single instance.

Spring AI’s Dynamic Tool Discovery

Spring AI's Tool Search Tool solves the problem of token waste when many tools are registered with an LLM. Instead of sending all tool definitions upfront, tools are indexed at startup and only the Tool Search Tool is exposed initially. When the model needs a capability, it queries the Tool Search Tool using natural language, which returns only the most relevant tool definitions. A travel assistant example demonstrates the approach using a RegexToolSearcher and a custom TokenCounterAdvisor, showing a dramatic reduction in token usage: 974 tokens with dynamic discovery versus 3,685 tokens without it.

Java Weekly, Issue 652

Weekly roundup of Java and Spring ecosystem news. Highlights include a discussion on AI agent harnesses as the next phase of AI-assisted development, Spring AI 2.0 self-correcting structured output, improvements for immutable data in Java, Block's migration of 450 JVM repositories into a monorepo, and Kotlin Toolchain 0.11. Release section covers Spring Boot 3.5.16, Spring Data 2025.0.13, emergency Quarkus CVE patches, Vert.x 5.1.3, Elasticsearch updates, Micronaut Core 5.1.2, Helidon 3.2.18, and WildFly 40.0.1.

A Guide to Agent Skills in Spring AI

Agent Skills is an open specification for defining reusable capabilities that an AI agent can invoke locally, without the overhead of running a full MCP server. A skill is a directory containing a SKILL.md manifest file with a name, description, and natural language instructions, plus any associated scripts. Spring AI 2.x supports Agent Skills via the spring-ai-agent-utils community library. The tutorial walks through creating a custom article-summarizer skill backed by a Python script, wiring it into a Spring AI ChatClient using SkillsTool, FileSystemTools, and ShellTools, and exposing it through a REST endpoint. The agent automatically matches user requests to relevant skills based on their descriptions, loads the instructions into context, and executes the associated scripts to fulfill the request.