Verifiable Rewards and GRPO in RL

Rust68 Hot22 phút4 ngày trướcAITop

The many journeys of learning Rust

Nghiên cứu định tính từ nhóm Rust về cách các nhà phát triển học ngôn ngữ Rust thông qua …

Gusto Engineering1 Hot6 phút9 giờ trướcAI

From Prompt to Classifier: A Production Case Study

Đội kỹ thuật của Gusto xây dựng bộ phân loại chuyển tiếp AI-sang-người cho hệ thống hỗ trợ khách hàng bằng cách bắt đầu với prompt LLM, sử dụng dữ liệu sản xuất để tạo dataset 3.500 lượt hội thoại, sau đó tinh chỉnh mô hình BERT nhẹ đạt 94% precision và 93% recall. Phương pháp LLM-đầu-tiên-sau-chuyên-biệt phù hợp cho quyết định ổn định, khối lượng lớn như phân loại intent, nhưng không hiệu quả với sinh văn bản mở hoặc quy tắc thay đổi.

Lập trình viên nên đọc bài này để hiểu cách chuyển từ việc sử dụng mô hình LLM trực tiếp sang xây dựng hệ thống chuyên biệt hiệu quả, đặc biệt là trong trường hợp phân loại quyết định cụ thể như phân luồng hỗ trợ khách hàng, giúp tối ưu hóa chi phí và tốc độ triển khai.

#machine-learning #llm #bert Nguồn

InfoQ1 Hot3 phút11 giờ trướcAI

Inside Target’s LLM-Based System for Semantic Matching in Marketing Forecast Pipelines

Target xây dựng hệ thống AI sinh ra để tối ưu dự báo chiến dịch marketing bằng cách truy xuất và xếp hạng các chiến dịch lịch sử tương tự. Pipeline đa giai đoạn sử dụng embeddings để nắm bắt ý nghĩa ngữ nghĩa từ metadata chiến dịch, vector similarity search để truy xuất ứng viên, và LLM để xếp hạng cũng như giải thích kết quả. Hệ thống này thay thế hệ thống rule-based cũ vốn đòi hỏi bảo trì thủ công và gặp khó khăn với định dạng chiến dịch thay đổi. Kết quả đánh giá đạt 75% độ phủ top-1 và 100% top-3 trên bộ dữ liệu thử nghiệm đa dạng. Hệ thống có vòng phản hồi tự động tinh chỉnh embeddings dựa trên dữ liệu hiệu suất chiến dịch đã hoàn thành, đồng thời các nhà phân tích xem xét đầu ra của mô hình trước khi đưa vào quy trình dự báo.

Lập trình viên nên đọc bài này để hiểu cách xây dựng một hệ thống AI tích hợp vector embeddings và LLM để tự động hóa và nâng cao hiệu quả của các pipeline dự báo marketing bằng cách thay thế quy trình thủ công và quy tắc cứng nhắc.

#llm #rag #vector-search Nguồn

sean goedecke14 Hot6 phút3 ngày trướcAI

AI inference is obviously profitable

Phân tích chi phí sơ lược cho thấy suy luận (inference) AI thực sự sinh lời, với chi phí ước tính khoảng 1 USD cho mỗi triệu token đầu ra, thấp hơn nhiều so với mức giá 4,5 USD trở lên của các nhà cung cấp như OpenAI, qua đó đạt biên lợi nhuận gộp 70–80%. Suy luận AI có lợi nhuận, nhưng các phòng thí nghiệm AI như OpenAI và Anthropic sử dụng khoản lợi nhuận này để bù đắp chi phí đào tạo mô hình tốn kém.

Là người phát triển muốn tối ưu chi phí cho ứng dụng AI của mình, bài viết này giúp bạn hiểu rõ về lợi nhuận thực tế của quá trình inference AI, từ đó có thể xây dựng mô hình kinh doanh hiệu quả và tránh bỏ lỡ cơ hội tiết kiệm chi phí mà không phụ thuộc vào sự hỗ trợ từ các công ty lớn.

#llm #openai #gpu Nguồn

The Next Web18 Hot4 phút5 ngày trướcAI

Anthropic’s Mythos found flaws in classified US systems during a government test

Mô hình AI Mythos của Anthropic đã phát hiện lỗ hổng trong các hệ thống bí mật của chính phủ Mỹ trong một cuộc thử nghiệm kiểm tra đỏ có kiểm soát, chứ không phải do tấn công từ bên ngoài. Kết quả này nhấn mạnh khả năng của Mythos trong việc tìm ra hàng nghìn lỗ hổng zero-day trên các hệ điều hành và trình duyệt lớn, dù chính phủ Mỹ từng hạn chế công khai mô hình này sau một vụ jailbreak riêng.

Những phát hiện về khả năng phát hiện lỗ hổng trong hệ thống an ninh quốc gia của Mỹ cho thấy AI mạnh mẽ như Mythos có thể trở thành công cụ quan trọng trong bảo mật, nhưng cũng đặt ra thách thức về kiểm soát và ứng dụng công bằng—là vấn đề cần thảo luận để xây dựng hệ sinh thái an toàn và minh bạch cho công nghệ AI.

#llm #vulnerability #anthropic Nguồn

Lobsters9 Hot3 phút4 ngày trướcAI

The Exhaustion of Talking to a Tool

LLM khiến người dùng kiệt sức vì đòi hỏi tương tác xã hội (năng lượng tinh thần như khi giao tiếp với người) nhưng không đem lại phần thưởng ngược lại như học hỏi, thử thách hay cảm hứng. Khác với công cụ truyền thống trở thành phần mở rộng của cơ thể nhờ tính nhất quán và tốc độ, LLM buộc người dùng phải đàm phán, thuyết phục và chủ yếu trả về nhiều code, test cùng lời bào chữa.

Một lập trình viên nên đọc bài này để hiểu cách phân biệt giữa công cụ hiệu quả và những tương tác tiêu tốn năng lượng mà không mang lại sự tiến bộ thực sự trong việc phát triển kỹ năng và hiệu suất code.

#llm #rust #vibe-coding Nguồn

ByteByteGo30 Hot5 phút9 ngày trướcAI

EP219: 12 Open-source LLMs

Bài viết giới thiệu 12 mô hình ngôn ngữ lớn (LLM) mã nguồn mở nổi bật năm 2026, mỗi mô hình có điểm mạnh riêng như khả năng đa phương thức của Llama 4 Scout, cửa sổ ngữ cảnh triệu token của DeepSeek V4 hay hiệu suất hàng đầu trên SWE-Bench Pro của GLM 5.1. Ngoài ra, bài còn so sánh kiến trúc SLM vs. LLM, đánh giá ưu nhược điểm giữa single-agent và multi-agent, cũng như 7 chế độ phân quyền trong Claude Code.

Lập trình viên nên đọc bài này để hiểu cách chọn và tối ưu hóa các mô hình ngôn ngữ mở nguồn (LLM) phù hợp với dự án của mình, từ khả năng xử lý đa modal cho đến hiệu suất trên các công việc lập trình chuyên sâu.

#open-source #llm #ai-agents Nguồn

Towards Data Science1 Hot24 phút1 ngày trướcAI

Tail Control: The Counterintuitive Engineering of Reliable Agentic Workflows

Khi triển khai workflows agentic dựa trên LLM qua API, thách thức không còn là độ chính xác mà là đảm bảo đầu ra ổn định dưới các ràng buộc về thời gian, chi phí và token-rate. Giải pháp chủ yếu là cắt bỏ latency tail bằng cách gửi song song các yêu cầu hedge (p95) thay vì chờ đợi, giúp giảm p99 từ ~60s xuống ~25s trong dữ liệu thực tế. Cần lưu ý phân biệt slowness tạm thời, khối lượng công việc lớn hay câu trả lời sai để điều chỉnh model phù hợp, đồng thời tránh tiêu tốn TPM budget lặp lại.

Lập trình viên phải đọc bài này để hiểu cách tối ưu hóa các workflow tự động hóa dựa trên LLM bằng cách xử lý không chỉ là độ chính xác mà là sự đáng tin cậy trong các điều kiện cạnh tranh về thời gian, chi phí và tốc độ token, đặc biệt khi ứng dụng phải hoạt động liên tục trước API khách hàng.

#llm #ai-agents Nguồn

Verifiable Rewards and GRPO in RL

Đề xuất cho bạn