GRPO fine-tuning on Red Hat OpenShift AI: Reinforcement learning from verifiable rewards with Training Hub

Bài viết mô tả việc sử dụng GRPO (Generalized Reward Policy Optimization) trên nền tảng Red Hat OpenShift AI để tinh chỉnh mô hình Qwen3-4B (4 tỷ tham số) nhằm nâng cao độ chính xác của các lệnh gọi công cụ. Quy trình dựa trên Training Hub cung cấp môi trường huấn luyện tích hợp, cho phép tạo ra phần thưởng có thể xác thực từ kết quả thực thi công cụ. Khi mô hình nhận được phần thưởng xác thực, thuật toán GRPO sẽ cập nhật chính sách để tăng xác suất sinh ra các tool call đúng định dạng và đúng tham số. Kết quả thử nghiệm cho thấy tỷ lệ tool call hợp lệ tăng từ khoảng 62 % lên trên 89 % sau chỉ vài epoch huấn luyện trên OpenShift AI. Điều này cho thấy việc kết hợp RL từ phần thưởng có thể xác thực với nền tảng Kubernetes‑native như OpenShift AI và Training Hub là cách hiệu quả để tinh chỉnh mô hình LLM cho các tác vụ cần tương tác công cụ đáng tin cậy.