Đang tải bảng tin…
Couchbase0 Hot0 bình luận11 phút đọc
What Is a Token in AI? An Explainer
Tokens are the fundamental units AI models use to process text — they can represent full words, subwords, characters, or short phrases. Before any text reaches an LLM, a tokenizer breaks it into these segments and maps them to numerical IDs. Modern LLMs use subword tokenization to balance vocabulary size and computational efficiency. Token counts directly affect context windows (how much a model can 'remember'), inference costs (billed per input/output token), latency (models generate one token at a time), and output quality (the 'lost in the middle' problem). For developers, understanding tokens is critical for writing efficient prompts, chunking data for RAG pipelines, and forecasting infrastructure costs. Roughly 750 words equal 1,000 tokens, and different models tokenize the same text differently.
Nguồn: https://www.couchbase.com/blog/what-is-a-token-in-ai. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Đề xuất cho bạn
InfoQ1 Hot4 phútAI
AlloyDB Ships Proxy Models That Replace LLM Calls with Local Inference Inside the Database
Google giới thiệu AlloyDB AI functions với hai kỹ thuật tăng tốc cho truy vấn SQL sử dụng LLM: smart batching (gọi model theo lô, đạt 10.000 rows/giây) và kiến trúc proxy model (huấn luyện model nhẹ trong database bằng PREPARE, chạy nội bộ tới 100.000 rows/giây, giảm 6.000 lần chi phí). Proxy model hiện ở chế độ preview cho ai.if, bổ sung thêm các hàm ai.summarize, ai.agg_summarize, ai.analyze_sentiment cùng MCP server quản lý cho AI agent. Các số liệu benchmark từ thử nghiệm nội bộ cần được xác thực thêm trước khi triển khai sản xuất.
