[2607.11938] Mathematics of Data Science

What “open weights” means for AI models

Bối cảnh là khái niệm "open weights" đang định hình tương lai của AI models, khác biệt với …

Build and Train a 25M Parameter LLM From Scratch on Your CPU

Bối cảnh: Bạn không cần cụm GPU khổng lồ để học cách AI hiện đại hoạt động. Nội dung video hướng dẫn xây dựng, pre-train và fine-tune một mô hình LLM 25 triệu parameter chỉ trên CPU. Nguyên nhân kỹ thuật: Video trình bày quy trình chi tiết từ đầu đến cuối với các công cụ như PyTorch, tạo tập dataset từ văn bản thuần túy. Hệ quả: Người xem sẽ có được kiến thức thực tế về cách LLM hoạt động mà không cần tài nguyên đắt đỏ. Điều đáng học: Dù quy mô nhỏ hơn các frontier model như GPT-4 hay Llama 2, quy trình này giúp hiểu nền tảng của deep learning trong NLP.

Bài hướng dẫn này giúp bạn xây dựng và huấn luyện một mô hình ngôn ngữ quy mô 25 triệu tham số ngay trên CPU mà không cần cluster GPU đắt đỏ.

How Netflix Taught an LLM to Recommend Movies So That You Keep Watching

Netflix đã phát triển hệ thống GenRec để tăng thời gian xem phim của người dùng. Họ huấn luyện Large Language Model (LLM) trên dữ liệu tương tác người dùng với nội dung, sử dụng phương pháp transfer learning từ các mô hình ngôn ngữ lớn. Kết quả là hệ thống có khả năng đề xuất phim cá nhân hóa với độ chính xác cao hơn 23% so với phương pháp traditional collaborative filtering. Điều này cho thấy tiềm năng ứng dụng LLM trong lĩnh vực recommendation systems không chỉ giải trí mà còn có thể mở rộng sang các dịch vụ streaming khác.

Bài viết này giải thích cách Netflix xây dựng hệ thống đề xuất phim GenRec để giữ chân người xem qua công nghệ LLM tiên tiến.

The LLM Blindspot: Why Models Forget What’s in the Middle of Your Prompt

Các mô hình LLM (Large Language Model) thường bỏ qua thông tin nằm ở giữa prompt, hiện tượng được nghiên cứu trong bài viết này. Nguyên nhân kỹ thuật đến từ cơ chế attention của transformer architecture, nơi các token ở đầu và prompt được tính trọng số cao hơn. Hệ quả là mô hình có thể hiểu sai hoặc bỏ qua chi tiết quan trọng nằm ở vị trí trung tâm của prompt. Bài viết phân tích cụ thể hiện tượng này với các thí nghiệm trên GPT-3.5 và GPT-4, cho thấy tỷ lệ lỗi tăng lên đáng kể khi thông tin quan trọng được đặt ở giữa. Điều đáng học là các lập trình viên nên thiết kế prompt đặt thông tin quan trọng ở đầu hoặc cuối để tối ưu hóa hiệu quả khi làm việc với LLM.

Bài giải thích này giúp lập trình viên hiểu rõ tại sao mô hình ngôn ngữ lớn có xu hướng bỏ qua thông tin ở giữa prompt.

5 Jev use cases for analytics, with real queries and datasets

Bài viết trình bày 5 use case thực tế của prompt_jev() trên dữ liệu thật với SQL có thể chạy lại, bao gồm phân tích traces của AI agent, cảm xúc từ Hacker News, các cuộc gọi bán hàng, tin tuyển dụng cloud và regex replacement. Mỗi use case được minh họa bằng truy vấn SQL cụ thể và tập dữ liệu tương ứng. Các ví dụ này chứng minh cách prompt_jev() có thể tự động hóa phân tích dữ liệu văn bản phức tạp bằng SQL thông thường. Đây là tài liệu tham khảo hữu ích cho bất kỳ lập trình viên nào muốn tích hợp AI vào xử lý dữ liệu mà không cần thay đổi stack công nghệ hiện tại.

Bài viết cung cấp 5 trường hợp thực tế sử dụng prompt_jev() với dữ liệu có sẵn và truy vấn SQL có thể thực thi lại ngay lập tức.

Fire and Forest Loss in Kalimantan: A Strong Signal, With an Important Caveat

Nghiên cứu vệ tinh ở Kalimantan chỉ ra mối liên hệ chặt chẽ giữa phát hiện cháy mất rừng với độ trễ thời gian trung bình 24 ngày. Nguyên nhân kỹ thuật nằm ở phương pháp Landsat và Sentinel-2 không phân biệt được nguyên nhân tự nhiên hoặc do con người gây ra. Hệ quả là việc kết luận ai đã đốt cháy dựa trên thời gian phát hiện cháy là không chính xác, gây sai lệch trong đánh giá trách nhiệm môi trường. Bài viết cung cấp dữ liệu chi tiết về tỷ lệ cháy theo vùng và mùa, điều giúp lập trình viên phát triển thuật toán phát hiện nguyên nhân cháy chính xác hơn.

Bài này giúp lập trình viên hiểu cách phân tích dữ liệu vệ tinh để phát hiện nguyên nhân mất rừng và đám cháy, quan trọng cho dự báo môi trường.

Researchers improve weather forecasts looking two to six weeks out

Dự báo thời tiết truyền thống thường chỉ chính xác trong vòng 7-10 ngày, hạn chế khả năng hoạch định dài hạn. Các nhà nghiên cứu đã phát triển một mô hình machine-learning có khả năng học từ và sửa lỗi của các mô hình dự báo hiện có, nhằm cải thiện độ chính xác trong khung thời gian 2-6 tuần - khoảng thời gian quan trọng cho kế hoạch ứng phó khẩn cấp. Phương pháp này kết hợp dữ liệu từ hệ thống weather forecasting như ECMWF và CFSv2, sử dụng thuật toán neural network để nhận diện và điều chỉnh các sai số dự báo một cách hệ thống. Kết quả nghiên cứu cho thấy độ chính xác tăng lên đáng kể so với phương pháp dự báo cũ, mở ra triển vọng mới cho ngành khí tượng và quản lý rủi ro thiên tai.

Kỹ thuật mới này giúp cải thiện đáng kể dự báo thời tiết cho giai đoạn từ hai đến sáu tuần, rất quan trọng cho công tác phòng chống thiên tai.

Chip Huyen on How to Optimize LLM Inference

Chip Huyen đã chia sẻ các chiến lược tối ưu inference cho Large Language Model một năm trước, và nhiều phương pháp này vẫn còn giá trị thực tiễn. Các kỹ thuật như vLLM, PagedAttention và continuous batching giúp giảm latency từ 5-10 lần so với phương pháp tuần tự truyền thống. Tác giả nhấn mạnh việc sử dụng hardware-aware inference để tận dụng tối đa GPU với hiệu suất throughput 100-500 tokens/giây. Một bài học quan trọng là việc lựa chọn tối ưu giữa latency và throughput tùy thuộc vào use case cụ thể. Bài viết còn đề cập đến các chiến lược như speculative decoding và model parallelism để xử lý các LLM có kích thước lên đến 100B parameters.

Chip Huyen chia sẻ chiến lược tối ưu hóa suy luận LLM giúp bạn nâng cao hiệu suất và tiết kiệm chi phí khi triển khai hệ thống trí tuệ nhân tạo.