Sam Altman says AI developers have fumbled at communicating the technology’s benefits

OpenAI Details GPT-Live’s Architecture for Continuous Stateful Voice Interaction

OpenAI công bố kiến trúc GPT-Live để hỗ trợ tương tác thoại liên tục, trạng thái trong các ứng dụng trợ lý ảo. Họ tách xử lý truyền thông nhạy cảm độ trễ (audio capture, phát, WebRTC) ra khỏi luồng suy diễn mô hình transformer, sử dụng bộ nhớ KV cache luồng và pipeline song song trên GPU/CPU. Kiến trúc này cho phép duy trì trạng thái đối thoại qua nhiều vòng lặp mientras giữ thời gian phản hồi end-to-end dưới 200ms, giảm gián đoạn trong trò chuyện thoại. Đối với hệ thống thoại thời gian thực, việc isolates media pipeline từ inference model và tái sử dụng KV cache là chìa khóa để đạt cả độ trễ thấp và trạng thái liên tục. Các nhóm phát triển có thể áp dụng mô hình tương tự bằng cách sử dụng máy chủ inference riêng, luồng audio qua WebRTC và quản lý phiên trạng thái bên ngoài để mở rộng khả năng mở rộng.