Scaling NVIDIA TensorRT Performance Optimization Beyond a Single Build Route with the Global Performance Tuner, Part 2

Why DeepSeek stores its KV cache on disk

DeepSeek's engineering behind 26x faster time to first token.

Canada joins Nvidia in backing Cohere’s record C$7bn Series E

The Toronto AI company targets C$7bn at a C$35.7bn valuation, with Canada, Nvidia and Schwarz Group among its backers.

Mistral releases open weights for its 1 trillion-parameter Large 4 model

Mistral has released the weights of Mistral Large 4 on Hugging Face, after three weeks of extra training lifted its coding and cyber defence scores.

Anthropic trained Claude on illegally obtained Stanford professors' books

Anthropic đã sử dụng ít nhất 10 tác phẩm của các giảng viên Đại học Stanford để huấn luyện mô hình Claude mà không có giấy phép. Công ty này phải trả khoản bồi thường bản quyền lên đến 1.5 tỷ USD vì vi phạm luật sở hữu trí tuệ. Việc sử dụng dữ liệu bị đánh cắp để phát triển AI có thể dẫn đến kiện tụng tốn kém và tổn hại uy tín cho doanh nghiệp. Lập trình viên nên chú ý đến nguồn dữ liệu khi xây dựng mô hình, đặc biệt với các công nghệ như RAG (Retrieval-Augmented Generation) cần dữ liệu chất lượng cao.

Lập trình viên nên đọc bài này để hiểu rõ rủi ro pháp lý và đạo đức khi sử dụng dữ liệu bị đánh cắp để huấn luyện AI.

How Neural Networks Work: Why Straight Lines Aren't Enough

Bài viết giải thích cách hoạt động của neural networks, bắt đầu bằng phương trình đường thẳng như một bước đệm để hiểu sâu hơn. Nguyên nhân kỹ thuật là phương trình đường thẳng không đủ sức biểu diễn các bài toán phức tạp, đòi hỏi activation function như ReLU hay sigmoid để tạo ra các đường cong phi tuyến tính. Hệ quả là các neural networks có khả năng phân loại dữ liệu phi tuyến và giải quyết các bài toán nhận dạng hình ảnh, ngôn ngữ tự nhiên. Điều đáng học là việc hiểu activation function giúp bạn tối ưu hóa hiệu suất mạng, tránh hiện tượng vanishing gradient và cải thiện tốc độ hội tụ của mô hình.

Bài viết giải thích tại sao mạng nơ-ron cần vượt qua giới hạn của đường thẳng để giải quyết các vấn đề phức tạp.

Junie Local became 70% faster on Mac M5

Junie Local hits ~70 tokens/s on M5 Max with Splash and DFlash2, cuts memory use, and adds support for M4 Macs with 64 GB RAM.

What Is Model Distillation? A Guide for Developers

Model distillation là quy trình chuyển giao kiến thức từ model lớn (teacher) sang model nhỏ hơn (student) để giữ hiệu suất nhưng giảm tài nguyên. Quá trình này sử dụng hàm loss function như knowledge distillation loss để điều chỉnh student model học từ teacher model. Ví dụ, model distillation có thể giảm kích thước model từ 1.2 tỷ parameter xuống chỉ 120 triệu parameter nhưng vẫn giữ 95% accuracy. Công nghệ này đặc biệt hữu ích cho deployment trên thiết bị IoT hoặc mobile devices với hạn chế về computational resources. Điều đáng học là cách kiến thức có thể được "nén" mà không làm mất nhiều thông tin, giúp tối ưu hóa inference time và energy consumption.

Tìm hiểu về Model Distillation giúp các lập trình viên tối ưu hóa hiệu năng mô hình học máy một cách hiệu quả.

Why Temperature 0 Isn't Deterministic in LLM Inference

Trong quá trình inference của LLM, temperature 0 không hoàn toàn quyết định như nhiều người vẫn nghĩ. Nguyên nhân kỹ thuật nằm ở cách thuật toán softmax hoạt động khi temperature bằng 0, làm cho xác suất của từ với highest score tiến tới 1 nhưng không bao giờ đạt hoàn toàn 1 trong thực tế. Điều này dẫn đến kết quả có vẻ ngẫu nhiên dù xác suất đã được chuẩn hóa, gây ra sự không chắc chắn nhỏ trong kết quả output. Điều đáng học là việc hiểu behavior của temperature trong LLM không đơn giản như tưởng tượng, đòi hỏi hiểu biết sâu về cách hoạt động của softmax và quy trình sampling text generation.

Bạn nên đọc bài này để hiểu cách giải quyết một vấn đề cơ bản nhưng thường bị nhầm lẫn trong việc phân tích và tối ưu hóa mô hình ngôn ngữ lớn, giúp tránh sai lầm trong việc thiết kế và triển khai hệ thống AI.