Loading feed…
Vercel0 Hot0 comments2 min read
Regional inference now available on AI Gateway
AI Gateway now supports regional inference, letting you pin each request to a US or EU data center for data residency. Requests fail closed if the region can't be honored, and every response reports the region inference actually ran in.
Source: https://vercel.com/changelog/regional-inference-now-available-on-ai-gateway. 8sync News only summarizes and links out; content copyright belongs to the authors and original sources.
Recommended for you
Vercel1 Hot1 minAI
WebSocket support for OpenAI Responses API live on AI Gateway
AI Gateway đã bổ sung hỗ trợ chế độ WebSocket cho OpenAI Responses API, cho phép duy trì kết nối liên tục, tiếp tục phiên bằng previous_response_id và thực hiện các phiên thoại theo thời gian thực.
Lập trình viên muốn phát triển ứng dụng giao tiếp thời gian thực với AI hoặc tích hợp OpenAI API vào các hệ thống thực tế cần biết cách tối ưu hóa hiệu suất và tính liên tục của phản hồi bằng WebSocket để giảm thiểu gói dữ liệu và cải thiện trải nghiệm người dùng.
