The Chatbot I Built With OpenAI in 2025, and Why I Wouldn’t Build It That Way Today

Bối cảnh của bài viết là một chatbot được xây dựng bằng OpenAI API vào năm 2025. Nguyên nhân kỹ thuật dẫn đến quyết định thay đổi kiến trúc là việc sử dụng direct completion API với prompt engineering, thay vì sử dụng các model chuyên dụng hơn như GPT-4 Turbo. Hệ quả là hiệu suất không tối ưu với chi phí cao hơn và độ trễ đáng kể. Điều đáng học là việc lựa chọn model phù hợp và kiến trúc hệ thống phù hợp có thể cải thiện hiệu quả đáng kể, như việc chuyển sang sử dụng function calling và GPT-4 Turbo cho cùng một use case.