Whats is Batch Inference? (2027)

Microsoft made $10bn from OpenAI last quarter, 11% of its revenue

OpenAI revenue hit $10bn for Microsoft. Nadella says relying on a few big buyers is ‘not a business as far as I’m concerned’.

Why DeepSeek stores its KV cache on disk

DeepSeek's engineering behind 26x faster time to first token.

CSS-Tricks has a new owner!

CSS-Tricks vừa có chủ sở hữu mới sau 12 năm hoạt động. …

Anthropic trained Claude on illegally obtained Stanford professors' books

Anthropic đã sử dụng ít nhất 10 tác phẩm của các giảng viên Đại học Stanford để huấn luyện mô hình Claude mà không có giấy phép. Công ty này phải trả khoản bồi thường bản quyền lên đến 1.5 tỷ USD vì vi phạm luật sở hữu trí tuệ. Việc sử dụng dữ liệu bị đánh cắp để phát triển AI có thể dẫn đến kiện tụng tốn kém và tổn hại uy tín cho doanh nghiệp. Lập trình viên nên chú ý đến nguồn dữ liệu khi xây dựng mô hình, đặc biệt với các công nghệ như RAG (Retrieval-Augmented Generation) cần dữ liệu chất lượng cao.

Lập trình viên nên đọc bài này để hiểu rõ rủi ro pháp lý và đạo đức khi sử dụng dữ liệu bị đánh cắp để huấn luyện AI.

Claude Code's creator says better prompts need just 3 things, so I tested his approach

Bối cảnh của bài viết khám phá liệu chúng ta có đang quá tư duy hóa việc tạo prompt hay không. Nguyên nhân kỹ thuật được nêu ra là một phương pháp đơn giản chỉ cần 3 yếu tố: context, instruction, và input, được đề xuất bởi nhà sáng tạo Claude Code. Hệ quả khi áp dụng phương pháp này là việc tạo prompt hiệu quả trở nên dễ dàng hơn nhiều so với những cách phức tạp trước đây. Điều đáng học là ngay cả những AI model mạnh nhất hiện nay như Claude 3 hay GPT-4 vẫn phản ứng tốt với prompt có cấu trúc đơn giản này.

Bài viết này giúp bạn hiểu ra cách đơn giản hóa việc tạo prompt hiệu quả chỉ với ba yếu tố cơ bản.

Junie Local became 70% faster on Mac M5

Junie Local hits ~70 tokens/s on M5 Max with Splash and DFlash2, cuts memory use, and adds support for M4 Macs with 64 GB RAM.

Why Temperature 0 Isn't Deterministic in LLM Inference

Trong quá trình inference của LLM, temperature 0 không hoàn toàn quyết định như nhiều người vẫn nghĩ. Nguyên nhân kỹ thuật nằm ở cách thuật toán softmax hoạt động khi temperature bằng 0, làm cho xác suất của từ với highest score tiến tới 1 nhưng không bao giờ đạt hoàn toàn 1 trong thực tế. Điều này dẫn đến kết quả có vẻ ngẫu nhiên dù xác suất đã được chuẩn hóa, gây ra sự không chắc chắn nhỏ trong kết quả output. Điều đáng học là việc hiểu behavior của temperature trong LLM không đơn giản như tưởng tượng, đòi hỏi hiểu biết sâu về cách hoạt động của softmax và quy trình sampling text generation.

Bạn nên đọc bài này để hiểu cách giải quyết một vấn đề cơ bản nhưng thường bị nhầm lẫn trong việc phân tích và tối ưu hóa mô hình ngôn ngữ lớn, giúp tránh sai lầm trong việc thiết kế và triển khai hệ thống AI.

6 KV Cache Quantization Approaches

Bối cảnh về KV Cache Quantization trở nên quan trọng khi inference model lớn như GPT-3 cần …