Why The AI Determinism Argument Annoys Me

The LLM Blindspot: Why Models Forget What’s in the Middle of Your Prompt

Các mô hình LLM (Large Language Model) thường bỏ qua thông tin nằm ở giữa prompt, hiện …

Smarter Log Triage: Why Cheap Flash LLMs Master SOC Context Discipline

Nghiên cứu so sánh hiệu năng giữa các flagship LLMs và các model Flash rẻ tiền trong xử lý log triage cấp L1. Kết quả cho thấy các model Flash như Llama 3-8B và Phi-2 với chi phí API chỉ 0.03-0.05 USD mỗi triệu token đạt độ chính xác tương đương các model lớn đắt tiền hơn. Sự khác biệt chính nằm ở khả năng giữ ngữ cảnh (context retention) và xử lý thông tin trong các đoạn log dài, nơi các model Flash thể hiện hiệu suất ấn tượng. Bài viết cung cấp cái nhìn thực tế về việc cân bằng giữa chi phí và hiệu năng khi triển khai LLM trong SOC, giúp các lập trình viên có cơ sở để lựa chọn model phù hợp với ngân sách và yêu cầu cụ thể.

Bài viết tiết lộ những mô hình Flash LLM giá rẻ nào thực sự vượt trội trong phân tích nhật ký bảo mật giúp SOC tiết kiệm chi phí mà vẫn nâng cao hiệu quả.

How Netflix Taught an LLM to Recommend Movies So That You Keep Watching

Netflix đã phát triển hệ thống GenRec để tăng thời gian xem phim của người dùng. Họ huấn luyện Large Language Model (LLM) trên dữ liệu tương tác người dùng với nội dung, sử dụng phương pháp transfer learning từ các mô hình ngôn ngữ lớn. Kết quả là hệ thống có khả năng đề xuất phim cá nhân hóa với độ chính xác cao hơn 23% so với phương pháp traditional collaborative filtering. Điều này cho thấy tiềm năng ứng dụng LLM trong lĩnh vực recommendation systems không chỉ giải trí mà còn có thể mở rộng sang các dịch vụ streaming khác.

Bài viết này giải thích cách Netflix xây dựng hệ thống đề xuất phim GenRec để giữ chân người xem qua công nghệ LLM tiên tiến.

Introducing AgentHub: Booking.com Platform for Modular Travel AI Agents

Booking.com đã phát triển AgentHub, nền tảng để xây dựng các AI agent du lịch dạng module. AgentHub sử dụng GPT-4 và fine-tuning RLHF để tạo ra các agent có khả năng lập kế hoạch chuyến đi phức tạp. Nền tảng này cho phép chia nhỏ các agent chuyên biệt, mỗi agent xử lý một khía cạnh cụ thể như đặt chỗ hoặc gợi ý điểm tham quan. Kết quả là hệ thống có thể xử lý các yêu cầu phức tạp với độ chính xác 85%, cao hơn nhiều so với các phương pháp trước đây. Lập trình viên nên đọc bài để hiểu cách triển khai hệ thống multi-agent với orchestration layer hiệu quả.

AgentHub giúp lập trình viên hiểu cách xây dựng và quản lý hệ thống AI agents module hóa cho nền tảng du lịch lớn.

Everyone's learning to prompt better. That's the wrong skill.

Công nghệ AI đang tạo ra áp lực lớn để mọi người cải thiện kỹ năng prompt engineering với hàng loạt hướng dẫn như "12 prompt giúp tăng hiệu suất 10x". Nguyên nhân sâu xa xuất phát từ giới hạn của các language model hiện tại cần prompt chính xác để tạo ra kết quả chất lượng. Hệ quả là người dùng lãng phí thời gian vào việc tối ưu prompt thay vì tập trung vào giải pháp cốt lõi của vấn đề. Điều đáng học là thay vì đầu tư quá nhiều vào prompting, lập trình viên nên phát triển tư duy hệ thống để xây dựng các giải pháp AI hiệu quả và bền vững hơn.

Đọc bài này giúp lập trình viên tập trung vào năng lực cốt lõi thay vì chỉ chăm chăm vào kỹ năng prompt AI.

LayaPHP: Self-Hosted Text Classification for PHP and Laravel

LayaPHP cung cấp giải pháp text classification tự host cho ứng dụng PHP và Laravel. Thay vì gọi API từ bên ngoài như OpenAI hay Google, thư viện này cho triển khai mô hình classification trên server riêng để đảm bảo bảo mật và hiệu năng. Khi gửi text, mô hình sẽ trả về kết quả phân loại cùng độ tin cậy (confidence values) cho từng output. Điểm đáng học là cách LayaPHP xử lý local inference mà không phụ thuộc vào dịch vụ bên ngoài, giúp giảm latency và bảo vệ dữ liệu nhạy cảm.

LayaPHP giúp các lập trình viên PHP và Laravel tự lưu trữ và phân loại văn bản mà không cần phụ thuộc vào dịch vụ bên ngoài.

Are LLMs still surprisingly bad at some simple tasks?

Năm ngoái tác giả đã thực hiện thí nghiệm kiểm tra khả năng của các modern LLMs trong việc trả lời một câu hỏi tương đối đơn giản, nhưng tất cả đều trả sai. Các mô hình này hoặc thiếu thông tin, hoặc tạo ra các câu nói sai sự thật, không có mô hình nào đưa ra câu trả lời đúng. Nguyên nhân kỹ thuật có thể nằm ở cách mô hình xử lý thông tin và giới hạn kiến thức của chúng. Điều đáng học là ngay cả với các LLM tiên tiến như GPT-4 và Claude, vẫn tồn tại những giới hạn cơ bản trong việc trả lời các câu hỏi tưởng chừng đơn giản, đòi hỏi người dùng phải hiểu rõ năng lực và hạn chế của công nghệ này.

Bài viết tiết lộ những hạn chế đáng ngạc nhiên của các mô hình ngôn ngữ lớn (LLMs) ngay cả với các tác vụ tưởng chừng đơn giản, giúp lập trình viên có cái nhìn thực tế hơn khi ứng dụng chúng.

The AI safety check that runs on a laptop and nearly matched a 35B model

Red Hat đã benchmark các AI guardrails cho prompt injection và content safety. Một classifier 200M parameter đã gần như đạt kết quả tương đương với judge LLM 35B parameter trong phát hiện prompt injection. Trong khi đó, Jev lại vượt trội trong kiểm tra content safety. Kết quả cho thấy các mô hình nhỏ hơn vẫn có thể hiệu quả đáng kể cho các tác vụ AI safety cụ thể. Điều này giúp các developer triển khai AI safety ngay trên thiết bị mà không cần tài nguyên đám mây lớn.

Red Hat đã chứng minh rằng AI guardrails nhỏ gọn có thể hiệu quả tương đương với các mô hình lớn, mang lại giải pháp an toàn thực tế.