Đang tải bảng tin…
Hacker News0 Hot0 bình luận2 phút đọc
The router that cuts your inference bill in half
Tokenless is a model router and drop-in replacement for the OpenAI and Anthropic APIs — the same quality at less than half the cost.
Nguồn: https://usetokenless.com/. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Đề xuất cho bạn
The New Stack2 Hot9 phútAI
GPT-5.6 kernel of truth: Sol can cut its own costs, says OpenAI
OpenAI cho biết phiên bản GPT-5.6 Sol đã giảm chi phí vận hành và lượng tokens tiêu thụ nhờ tối ưu hóa các kernel, quá trình suy luận (inference), API AI cũng như hệ thống harness của Codex nhằm đẩy nhanh quy trình gọi công cụ (tool-calling).
Lập trình viên nên đọc bài này để hiểu cách tối ưu hóa chi phí và hiệu suất của các mô hình AI lớn thông qua kiến trúc kernel mới, giúp giảm thiểu chi phí serving và tăng tốc độ xử lý công việc liên quan đến các API AI và agent.
