Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline

Bối cảnh: NVIDIA đã tiến hành training mô hình ngôn ngữ lớn với quy mô 2.8 trillion tokens trên dữ liệu tiếng Ấn Độ, con số lớn nhất hiện tại cho domain này. Nguyên nhân kỹ thuật: Dự án sử dụng phương pháp data generation pipeline tự động với công cụ NVIDIA NeMo Megatron để tạo ra dữ liệu đa dạng từ các nguồn công khai như Wikipedia, sách, và web. Hệ quả: Mô hình đạt hiệu suất vượt trội trong các benchmark tiếng Ấn Độ, chứng minh khả năng scale dữ liệu lên đến hàng nghìn tỷ token vẫn duy trì chất lượng lượng. Điều đáng học: Nghiên cứu này thiết kế một pipeline mở hoàn chỉnh, từ thu thập dữ liệu đến training, có thể tái tạo và mở rộng cho các ngôn ngữ khác với chi phí hợp lý.

AI có thể tóm tắt sai. Đọc bài gốc trước khi dựa vào thông tin quan trọng.