The Test I Almost Didn’t Run

Kimi K3’s 1M Token Context Window vs. RAG: Cost, Latency and Answer Quality

Trong thí nghiệm so sánh, Kimi K3 với cửa sổ ngữ cảnh 1 triệu token trả lời đầy đủ 12 câu hỏi trên corpus 127.068 token, trong khi RAG đạt điểm thấp hơn về độ hoàn chỉnh (0,83/2) dù tương đương về tính căn cứ. Kimi K3 tốn 16 lần chi phí và thời gian xử lý gấp 3 lần mỗi câu hỏi, đồng thời phá vỡ hạn mức 1,5 triệu token/ngày chỉ sau một lượt truy vấn. Bài viết cũng chỉ ra ba lỗi thường gặp: token suy luận chiếm ngân sách, kết quả không nhất quán do chỉ hỗ trợ temperature=1, và bộ nhớ cache tiền tố kém hiệu quả (tỷ lệ trúng chỉ 33%). Khuyến nghị sử dụng long-context cho corpus nhỏ, truy vấn hiếm, còn RAG phù hợp khi khối lượng truy vấn tăng.

Những lập trình viên xây dựng hệ thống AI cần đọc để hiểu cách cân bằng hiệu suất, chi phí và độ tin cậy giữa các phương pháp xử lý văn bản dài (1M token) và RAG khi ứng dụng vào dự án thực tế, đặc biệt khi quyết định về quy mô và tần suất sử dụng.

Why use ORMs if LLMs write code?

ORMs vẫn cần thiết vì chúng cung cấp lớp trừu tượng an toàn, hiệu quả để tương tác với cơ …

Practical Loop Engineering

Bài viết bàn về tầm quan trọng của vòng lặp (loops) trong kỹ thuật phần mềm, nhấn mạnh …

Google Assistant is dead, and I won't miss it thanks to my local LLM

Google Assistant đã "chết" nhường chỗ cho trợ lý ngoại tuyến chạy trên local LLM, giúp tránh phụ thuộc vào đám mây và tăng cường bảo mật.

Lập trình viên nên đọc bài này để hiểu cách chuyển đổi từ các dịch vụ cloud đắt tiền sang các giải pháp tự chủ, mở rộng kiến thức về LLM offline và ứng dụng thực tế trong phát triển ứng dụng thông minh độc lập.

How we think about text classification in the LLM era

Trong kỷ nguyên LLM, text classification vẫn quan trọng nhưng cần kết hợp linh hoạt với các mô hình chuyên biệt. LLMs mang lại lợi thế nhờ hiểu ngữ cảnh rộng, nhưng không thay thế hoàn toàn các mô hình truyền thống vốn hiệu quả hơn trong tác vụ cụ thể. Medium vẫn duy trì sự cân bằng giữa hai phương pháp này.

Là người phát triển AI, bạn nên đọc bài này để hiểu cách LLMs thay đổi cách tiếp cận phân loại văn bản và khi nào nên tích hợp chúng vào dự án của mình mà không phải thay thế hoàn toàn các mô hình truyền thống.

The people vs the AI overlords

Bài viết chỉ trích xu hướng sử dụng nhiều AI song song (như Claude sub-agents) trong phát triển phần mềm open source, gây áp lực tài chính và môi trường, đồng thời cảnh báo về sự chuyển dịch sang mô hình đăng ký, phần mềm "thuê" và AI credits. Tác giả cũng liên hệ xu hướng này với nguy cơ mất việc làm của kỹ sư, suy yếu quyền thương lượng tập thể, và các mối đe dọa bảo mật như NPM supply-chain worms.

Những lập trình viên nên đọc bài này để hiểu cách AI đang thay đổi mô hình phát triển mã nguồn mở, từ ảnh hưởng đến công việc cá nhân đến hệ sinh thái cộng đồng, và tìm hiểu cách bảo vệ bản chất của nghề nghiệp cũng như quyền lợi của cộng đồng phát triển phần mềm.

Designing effective Genie Agents from a single prompt

Thiết kế các tác nhân Genie hiệu quả từ một prompt duy nhất.

Lập trình viên nên đọc bài này để hiểu cách tối ưu hóa giao tiếp với các agent AI bằng cách thiết kế prompt hiệu quả, giúp hệ thống phản hồi chính xác và linh hoạt hơn trong các nhiệm vụ lập trình phức tạp.