From Models to Products: LLMs for Recommendation at Spotify Scale

Agent Anomaly Detection, now in Private Preview on the Gemini Enterprise Agent Platform

Gemini Enterprise Agent Platform vừa ra mắt tính năng Agent Anomaly Detection trong private preview để bảo vệ AI agents. Công nghệ này phát hiện các rủi ro hành vi OWASP mà không làm tăng runtime latency. Hệ thống giám sát các hành vi bất thường của agents để ngăn chặn tấn công bảo mật. Đây là giải pháp hữu ích cho các tổ chức sử dụng Gemini Enterprise Agent Platform, đảm bảo an toàn cho hệ thống AI mà không ảnh hưởng đến hiệu suất.

Agent Anomaly Detection giúp bảo mật AI agent bằng cách phát hiện các rủi ro hành vi OWASP mà không làm tăng độ trễ thời gian chạy.

A Gentle Introduction to Model Distillation

Model distillation phương pháp nén khả năng của mô hình teacher lớn vào một student nhỏ …

I'm Looking for My Next Role

Một chuyên gia compiler với kinh nghiệm dẫn dắt đội ngũ phát triển YJIT - JIT compiler hiện đang được tích hợp trong CRuby và áp dụng tại các công ty lớn như Shopify, GitHub, Stripe. Người này có bằng PhD về JIT compilation và type analysis, từng làm việc tại Apple với GPU compiler, nghiên cứu AI tại Mila với Bengio, Paull, và Precup, gần nhất là xây dựng PyTorch/ONNX compiler cho startup ML systems. Với hơn 2,500 trích dẫn học thuật và 13 bài báo được bình duyệt, họ đang tìm kiếm vị trí compiler, systems, ML systems hoặc nghiên cứu tại Montreal hoặc remote. Bài viết chi tiết sẽ cung cấp thêm thông tin về kỹ năng cụ thể và định hướng sự nghiệp phù hợp với ứng viên tiềm năng.

Lập trình viên nên đọc bài này để cơ hội làm việc với chuyên gia JIT compiler hàng đầu trong lĩnh vực phát triển hệ thống và học máy.

How LLMs Can Find a Needle in a Haystack

Bài viết khám phá khả năng của Large Language Models (LLMs) trong việc tìm kiếm thông tin trong các tập dữ liệu lớn. Nó giải thích các kỹ thuật như retrieval-augmented generation (RAG) giúp mô hình truy xuất và xử lý dữ liệu hiệu quả hơn. Việc này giúp giảm hiện tượng "hallucination" và tăng độ chính xác của câu trả lời. Các phương pháp như vector embeddings và similarity search đóng vai trò quan trọng trong quá trình này. Lập trình viên có thể học cách tích hợp các kỹ thuật này vào hệ thống của mình để tối ưu hóa hiệu suất LLM.

Bài viết này giúp lập trình viên hiểu cách LLMs có thể xử lý và tìm kiếm thông tin hiệu quả trong lượng dữ liệu khổng lồ.

LLM Discussions (02): Train-time Vs. Test-time Compute

Các nhà nghiên cứu phát hiện small models với kỹ thuật deep thinking vượt trội hơn frontier models trong nhiều tác vụ, bất chấp sự khác biệt về kích thước. Nguyên nhân kỹ thuật nằm ở việc tái phân bổ compute từ giai đoạn train sang test-time, cho phép mô hình nhỏ hơn suy nghĩ lâu hơn để giải quyết vấn đề. Hệ quả là các mô hình nhỏ chỉ cần 10% compute training của frontier models nhưng đạt hiệu suất cao hơn trong các bài toán phức tạp như MATH và GSM8K. Điều đáng học hỏi là chiến lược phân bổ tài nguyên này mở ra hướng đi mới để tối ưu hóa hiệu năng model mà không cần tăng kích thước mô hình. Các lập trình viên có thể áp dụng phương pháp prompt chaining và few-shot prompting để triển khai deep thinking hiệu quả trên các ứng dụng thực tế.

Bài viết này giúp lập trình viên hiểu rõ cách tối ưu hóa hiệu năng giữa chi phí huấn luyện và sử dụng mô hình LLM.

The Roadmap to Mastering Voice Agents

Voice agents mở rộng hệ thống AI dựa trên text bằng cách bọc language model với các lớp speech-to-text (STT) và text-to-speech (TTS), tạo ra thách thức về độ trễ, định dạng âm thanh, gián đoạn và lỗi tích tụ. Con đường học tập gồm bảy giai đoạn: hiểu pipeline STT-LLM-TTS, layer xử lý ngôn ngữ, kiến trúc streaming real-time, thiết kế hội thoại, tích hợp tool và memory, triển khai và đánh giá. Bạn nên bắt đầu từ giai đoạn phù hợp với kinh nghiệm về text-based LLM agents của mình. Các chuyên sâu nâng cao bao gồm hỗ trợ đa ngôn ngữ, phát hiện cảm xúc và voice cloning.

Bài viết cung cấp lộ trình bảy giai đoạn chi tiết giúp lập trình viên nắm vững kiến thức và kỹ năng cần thiết để phát triển hệ thống voice agent hiệu quả.

Don't build tools for AI agents

Bối cảnh hiện tại có nhiều người đề xuất ngừng phát triển phần mềm cho người dùng và chuyển hướng sang xây dựng cho AI agents. Nguyên nhân kỹ thuật xuất phát từ tiềm năng của AI agents có thể tự động hóa các tác vụ phức tạp mà người dùng hiện tại phải thực hiện thủ công. Hệ quả là nếu các công nghệ như AutoGPT, LangChain hay GPT-4 trở thành chuẩn, các ứng dụng truyền thống có thể trở nên lỗi thời. Điều đáng học hỏi là việc tập trung vào AI agents đòi hỏi tư duy thiết kế hoàn toàn mới, không chỉ đơn giản là tối ưu hóa giao diện người dùng hiện có.

Bài viết này giúp lập trình viên nhận ra những rủi ro khi chỉ tập trung xây dựng công cụ cho AI agent mà bỏ qua nhu cầu của người dùng thực tế.

Deterministic vs. Non-Deterministic AI: Why Your Workflow Should Be Mostly Boring

Các hệ thống AI sản xuất thực tế không phải là hoàn toàn tự chủ mà chủ yếu dựa trên quy tắc deterministic, với AI chỉ xử lý các tác vụ không thể đoán trước được. Trong khi mô hình GPT-4 có thể tạo ra kết quả không nhất quán do tính non-deterministic, các hệ thống production thường kết hợp machine learning với logic quy tắc để đảm bảo tính nhất quán. Hệ quả là các ứng dụng thành công thường có tỷ lệ deterministic cao (80-90%) và chỉ sử dụng non-deterministic cho các trường hợp cụ thể như phân tích cảm xúc hoặc gợi ý nội dung. Điều đáng học hỏi là nên thiết kế workflow AI theo hướng "nh mostly boring", tập trung vào tính ổn định và kiểm soát thay vì hoàn toàn tự động.

Bài giải thích này giúp lập trình viên hiểu tại sao kết hợp giữa quy tắc xác định và AI phi xác định sẽ tạo ra hệ thống đáng tin cậy và hiệu quả nhất.