What real time-to-first-token looks like on DigitalOcean Serverless Inference

Bài viết này thực hiện 380 lần kiểm tra trên DigitalOcean Serverless Inference với sáu model khác nhau, cung cấp số liệu thực tế về time-to-first-token. Kết quả cho thấy một model cụ thể có độ trễ lên tới nhiều phút, gây ra trải nghiệm người dùng kém. Nguyên nhân kỹ thuật có thể liên quan đến việc khởi động runtime hoặc việc xử lý batch request của serverless infrastructure. Những số liệu này giúp các lập trình viên hiểu rõ hiệu suất thực tế của serverless inference service để đánh giá xem có phù hợp với ứng dụng của họ hay không.