Ambient Scientific GPX10 Pro MCU delivers years of always-on AI on a coin-cell battery

RAG & Fine-tuning in LLMs

RAG và fine-tuning là hai phương pháp tùy chỉnh LLM nhưng giải quyết vấn đề khác nhau: RAG truy xuất ngữ cảnh từ nguồn bên ngoài tại thời điểm suy luận (không thay đổi trọng số mô hình), còn fine-tuning cập nhật trọng số trước triển khai để thay đổi hành vi mặc định. Trong sản xuất, hai phương pháp thường được kết hợp, trong đó RAG xử lý truy xuất tri thức động còn fine-tuning định hình cách phản hồi của mô hình. Ngoài ra, bài viết cũng giải thích kỹ thuật ANN sử dụng IVF, giúp tăng tốc độ truy vấn lên tới 100 lần so với kNN thông thường nhờ phân vùng dữ liệu bằng k-means.

Lập trình viên nên đọc bài này để hiểu cách tối ưu hóa hiệu suất và độ chính xác của hệ thống AI bằng cách phân biệt giữa RAG (chỉnh sửa tại thời điểm sử dụng) và fine-tuning (chỉnh sửa trước khi triển khai), cùng với kỹ thuật ANN như IVF để nhanh chóng xử lý dữ liệu lớn.

Special delivery: Italy’s postal service joins the AI infrastructure race

Dịch vụ bưu chính Italy (Poste Italiane) đang tham gia cuộc đua cơ sở hạ tầng AI quốc gia bằng cách tận dụng cổ phần tại Telecom Italia (TIM) và mạng lưới bưu cục, trung tâm xử lý thư tín sẵn có. Kế hoạch chuyển đổi các trung tâm xử lý thư cũ thành các node edge-computing và bổ sung trung tâm dữ liệu mới vào hạ tầng viễn thông của TIM, nhằm tránh phụ thuộc vào các hyperscaler Mỹ. Thách thức bao gồm vốn đầu tư, nguồn nhân lực kỹ thuật, yêu cầu làm mát và sự phức tạp trong tích hợp TIM vốn có lịch sử tài chính khó khăn.

Những lập trình viên muốn khám phá cách ứng dụng công nghệ AI trong hạ tầng thực tế, từ cơ sở hạ tầng vật lý đến việc tái sử dụng cơ sở hạ tầng truyền thống như bưu điện, sẽ tìm thấy những giải pháp sáng tạo và thách thức kỹ thuật mới trong chiến lược này.

A How-To Guide On Fine-Tuning

Bài viết hướng dẫn fine-tuning LLM qua hai ví dụ: fine-tuning thủ công Mixtral 8x7B theo phong cách viết cá nhân bằng ghi chú và bài luận, và sử dụng PromptLayer để fine-tune GPT-3.5 thành công cụ tạo bài tập thể dục rẻ hơn nhờ dữ liệu do GPT-4 sinh ra. Nội dung đề cập đến thu thập dữ liệu, định dạng, tạo cặp huấn luyện bằng LLM, cũng như những khó khăn lặp đi lặp lại của phương pháp thủ công so với quy trình tối ưu hóa bằng PromptLayer, kết luận rằng fine-tuning thường phức tạp hơn RAG trong hầu hết trường hợp.

Là người phát triển muốn tối ưu hiệu suất của AI cho ứng dụng cụ thể mà không cần rủi ro phức tạp của fine-tuning thủ công, bài này giúp bạn so sánh cách chọn giữa RAG và các kỹ thuật fine-tuning chi tiết.

Amazon SageMaker AI now supports serverless model customization for Gemma 4 models

Amazon SageMaker AI vừa bổ sung hỗ trợ tùy chỉnh serverless cho các model Gemma 4 E4B và 31B của Google DeepMind, cho phép fine-tuning có giám sát (SFT), tối ưu hóa ưu tiên trực tiếp (DPO) và fine-tuning tăng cường (RFT) mà không cần quản lý hạ tầng. Người dùng chỉ trả tiền theo lượt sử dụng và có thể triển khai qua SageMaker Studio hoặc SDK Python.

Lập trình viên AI nên đọc để khám phá cách tối ưu hóa chi phí và tăng hiệu quả khi huấn luyện các mô hình lớn như Gemma 4 trên AWS với các phương pháp fine-tuning tiên tiến mà không phải lo về quản lý hạ tầng.

Scaling Laws, Carefully

Bài viết phân tích sâu về luật scaling (quy luật mở rộng) trong mô hình ngôn ngữ lớn, từ những nghiên cứu ban đầu (Amari 1992, Hestness 2017) đến các công trình quan trọng như Kaplan et al. và Chinchilla. Nó giải thích mối quan hệ power-law giữa kích thước mô hình, dữ liệu và compute, đồng thời điều chỉnh bất đồng giữa hai nghiên cứu này, cũng như đề cập đến các thách thức thực tế khi áp dụng luật scaling như độ chính xác làm tròn, chọn vùng fit và ảnh hưởng của lặp dữ liệu.

Lập trình viên xây dựng mô hình AI cần hiểu về quy luật mở rộng của mô hình để tối ưu hóa hiệu suất, chi phí và hiệu quả của các mô hình lớn như LLM từ những nguyên tắc cơ bản về phân phối dữ liệu và tính toán.

200,000 Subscribers

Sebastian Raschka's AI/ML newsletter 'Ahead of AI' has reached 200,000 subscribers. He thanks readers and paid supporters for enabling his work as an independent researcher, and hints at a new long-form article coming the following weekend.

Beyond GPUs: The Future Compute Stack for Space

A reflection on whether the space industry is asking the right questions about AI compute. Rather than simply scaling Earth-based GPU architectures for space, the author argues for rethinking the entire compute stack. Space imposes unique constraints — power, weight, heat dissipation, radiation, and intermittent communications — that make conventional AI accelerators insufficient on their own. Neuromorphic computing, inspired by biological neural architecture, offers potential advantages in energy efficiency, resilience, and adaptive autonomy. The author envisions a future layered compute ecosystem combining conventional AI accelerators, neuromorphic chips, and radiation-hardened processors, with orbital and lunar infrastructure offloading heavy processing from individual spacecraft.