Newer Models, Same Advantage

University libraries are being swarmed by AI bots, putting public access at risk

Academic libraries are fighting off swarms of data-scraping bots — that are slowing or crashing sites meant for students, researchers and the public — as AI companies continue hunting for content to feed their large language models.

Build and Train a 25M Parameter LLM From Scratch on Your CPU

Bối cảnh: Bạn không cần cụm GPU khổng lồ để học cách AI hiện đại hoạt động. Nội dung video hướng dẫn xây dựng, pre-train và fine-tune một mô hình LLM 25 triệu parameter chỉ trên CPU. Nguyên nhân kỹ thuật: Video trình bày quy trình chi tiết từ đầu đến cuối với các công cụ như PyTorch, tạo tập dataset từ văn bản thuần túy. Hệ quả: Người xem sẽ có được kiến thức thực tế về cách LLM hoạt động mà không cần tài nguyên đắt đỏ. Điều đáng học: Dù quy mô nhỏ hơn các frontier model như GPT-4 hay Llama 2, quy trình này giúp hiểu nền tảng của deep learning trong NLP.

Bài hướng dẫn này giúp bạn xây dựng và huấn luyện một mô hình ngôn ngữ quy mô 25 triệu tham số ngay trên CPU mà không cần cluster GPU đắt đỏ.

Show HN: A decent text-to-image model trained for ~$20K (Apache 2.0 Weights)

2B-Parameter P-JiT (Apache 2.0)

How Neural Networks Work: Why Straight Lines Aren't Enough

Bài viết giải thích cách hoạt động của neural networks, bắt đầu bằng phương trình đường thẳng như một bước đệm để hiểu sâu hơn. Nguyên nhân kỹ thuật là phương trình đường thẳng không đủ sức biểu diễn các bài toán phức tạp, đòi hỏi activation function như ReLU hay sigmoid để tạo ra các đường cong phi tuyến tính. Hệ quả là các neural networks có khả năng phân loại dữ liệu phi tuyến và giải quyết các bài toán nhận dạng hình ảnh, ngôn ngữ tự nhiên. Điều đáng học là việc hiểu activation function giúp bạn tối ưu hóa hiệu suất mạng, tránh hiện tượng vanishing gradient và cải thiện tốc độ hội tụ của mô hình.

Bài viết giải thích tại sao mạng nơ-ron cần vượt qua giới hạn của đường thẳng để giải quyết các vấn đề phức tạp.

What Is Model Distillation? A Guide for Developers

Model distillation là quy trình chuyển giao kiến thức từ model lớn (teacher) sang model nhỏ hơn (student) để giữ hiệu suất nhưng giảm tài nguyên. Quá trình này sử dụng hàm loss function như knowledge distillation loss để điều chỉnh student model học từ teacher model. Ví dụ, model distillation có thể giảm kích thước model từ 1.2 tỷ parameter xuống chỉ 120 triệu parameter nhưng vẫn giữ 95% accuracy. Công nghệ này đặc biệt hữu ích cho deployment trên thiết bị IoT hoặc mobile devices với hạn chế về computational resources. Điều đáng học là cách kiến thức có thể được "nén" mà không làm mất nhiều thông tin, giúp tối ưu hóa inference time và energy consumption.

Tìm hiểu về Model Distillation giúp các lập trình viên tối ưu hóa hiệu năng mô hình học máy một cách hiệu quả.

Anthropic trained Claude on illegally obtained Stanford professors' books

Anthropic đã sử dụng ít nhất 10 tác phẩm của các giảng viên Đại học Stanford để huấn luyện mô hình Claude mà không có giấy phép. Công ty này phải trả khoản bồi thường bản quyền lên đến 1.5 tỷ USD vì vi phạm luật sở hữu trí tuệ. Việc sử dụng dữ liệu bị đánh cắp để phát triển AI có thể dẫn đến kiện tụng tốn kém và tổn hại uy tín cho doanh nghiệp. Lập trình viên nên chú ý đến nguồn dữ liệu khi xây dựng mô hình, đặc biệt với các công nghệ như RAG (Retrieval-Augmented Generation) cần dữ liệu chất lượng cao.

Lập trình viên nên đọc bài này để hiểu rõ rủi ro pháp lý và đạo đức khi sử dụng dữ liệu bị đánh cắp để huấn luyện AI.

How Netflix Taught an LLM to Recommend Movies So That You Keep Watching

Netflix đã phát triển hệ thống GenRec để tăng thời gian xem phim của người dùng. Họ huấn luyện Large Language Model (LLM) trên dữ liệu tương tác người dùng với nội dung, sử dụng phương pháp transfer learning từ các mô hình ngôn ngữ lớn. Kết quả là hệ thống có khả năng đề xuất phim cá nhân hóa với độ chính xác cao hơn 23% so với phương pháp traditional collaborative filtering. Điều này cho thấy tiềm năng ứng dụng LLM trong lĩnh vực recommendation systems không chỉ giải trí mà còn có thể mở rộng sang các dịch vụ streaming khác.

Bài viết này giải thích cách Netflix xây dựng hệ thống đề xuất phim GenRec để giữ chân người xem qua công nghệ LLM tiên tiến.

The LLM Blindspot: Why Models Forget What’s in the Middle of Your Prompt

Các mô hình LLM (Large Language Model) thường bỏ qua thông tin nằm ở giữa prompt, hiện tượng được nghiên cứu trong bài viết này. Nguyên nhân kỹ thuật đến từ cơ chế attention của transformer architecture, nơi các token ở đầu và prompt được tính trọng số cao hơn. Hệ quả là mô hình có thể hiểu sai hoặc bỏ qua chi tiết quan trọng nằm ở vị trí trung tâm của prompt. Bài viết phân tích cụ thể hiện tượng này với các thí nghiệm trên GPT-3.5 và GPT-4, cho thấy tỷ lệ lỗi tăng lên đáng kể khi thông tin quan trọng được đặt ở giữa. Điều đáng học là các lập trình viên nên thiết kế prompt đặt thông tin quan trọng ở đầu hoặc cuối để tối ưu hóa hiệu quả khi làm việc với LLM.

Bài giải thích này giúp lập trình viên hiểu rõ tại sao mô hình ngôn ngữ lớn có xu hướng bỏ qua thông tin ở giữa prompt.