GitHub - marcelroed/gigatoken: Language model tokenization at GB/s

NVIDIA Nemotron 3 Ultra: 10x cheaper than GPT-4o

NVIDIA vừa ra mắt Nemotron 3 Ultra, mô hình open weights với khả năng xử lý 1M token context, chi phí chỉ bằng 1/10 so với GPT-4o trên các benchmark agent. Sự chênh lệch giá này đến từ kiến trúc tối ưu và chiến lược cloud hosting của NVIDIA, cho phép người dùng tải weights, tự host và fine-tune hoàn toàn. Hệ quả là lập trình viên có thể triển khai Nemotron 3 Ultra với chi phí thấp đáng kể mà không phụ thuộc vào API trả phí của các dịch vụ đám mây. Bài này đáng đọc nếu bạn đang tìm kiếm một giải pháp LLM tiết kiệm chi phí, đặc biệt khi xây dựng các ứng dụng agent cần context window lớn.

NVIDIA Nemotron 3 Ultra mang đến lựa chọn AI mở với chi phí chỉ 1/10 GPT-4o, cho phép lập trình viên tự lưu trữ và tinh chỉnh mô hình.

Latent Powers

Bối cảnh: Nhiều tổ chức cùng thời điểm khám phá và triển khai các công nghệ tương tự mà không có giao tiếp rõ ràng. Nguyên nhân kỹ thuật: Mô hình Transformer có thể tự phát triển các cơ chế attention hiệu quả mà không cần thiết kế thủ công, dẫn đến các giải pháp parallel trong kiến trúc neural networks. Hệ quả: Sự hội tụ tương tự giữa các lab nghiên cứu như OpenAI và Google về phương pháp training models với self-supervised learning, tạo ra các thành tựu như GPT-3 và BERT cùng hướng. Điều đáng học: Sự tiến bộ trong deep learning có thể dự đoán được hơn nhiều người nghĩ, khi các cơ bản nguyên lý toán học dẫn đến các giải pháp tối ưu tương tự bất kể điểm xuất phát.

Bài viết khám phá hiện tượng nhiều lập trình viên độc lập phát hiện ra cùng một giải pháp kỹ thuật mới, mở ra hiểu biết sâu sắc về cách tư duy sáng tạo trong ngành công nghệ.

This Month in Ladybird

Ladybird là một dự án trình duyệt mới được xây dựng từ đầu, nhằm mang lại trải nghiệm hiện …

pnpm 12.0

pnpm phiên bản 12.0 đã được phát hành là bản ổn định sau khi viết lại toàn bộ bằng Rust. Việc viết lại này nhằm cải thiện hiệu suất và độ tin cậy mà không thay đổi giao diện người dùng. Các lệnh, cờ, cấu hình và định dạng lockfile của pnpm 11 đều được giữ nguyên, nên nâng cấp không yêu cầu thay đổi dự án hiện có. Tài liệu chính thức đồng thời mô tả cách sử dụng cả hai phiên bản, giúp nhà phát triển có thể chọn phiên bản phù hợp. Bài học từ bản phát hành này là việc viết lại bằng Rust có thể mang lại lợi thế về hiệu suất, miễn là giữ nguyên tính tương thích ngược để giảm gánh nặng chuyển đổi cho người dùng.

Lập trình viên nên đọc bài này vì pnpm 12.0 được viết lại bằng Rust mang lại hiệu năng tốt hơn trong khi vẫn giữ nguyên toàn bộ cú pháp và định dạng file lock từ phiên bản trước.

How we saved 100 terabytes of memory by optimizing 1.1.1.1’s DNS cache

Cloudflare’s 1.1.1.1 công khai DNS resolver duy trì một bộ nhớ cache lớn để xử lý hàng tỷ truy vấn mỗi ngày. Đội ngũ đã thực hiện năm tối ưu hoá cấp Rust trong bố cục mục cache: tái cấu trúc struct, sử dụng kiểu số nguyên gọn gàng, loại bỏ padding, áp dụng arena allocation và lưu trữ trước giá trị băm, giảm kích thước mỗi mục xuống 56 %. Khi mở rộng ra toàn bộ hạ tầng toàn cầu, việc này giải phóng khoảng 100 TB RAM, tạo thêm dung lượng cho các đợt lưu lượng cao và giảm chi phí vận hành. Bài học là việc kiểm soát bố cục dữ liệu và khai thác khả năng kiểm soát bộ nhớ của Rust có thể tiết kiệm tài nguyên lớn ngay cả ở các dịch vụ quy mô lớn. Đọc bài gốc sẽ cung cấp các con số cụ thể và hướng dẫn chi tiết từng bước để áp dụng các tối ưu hoá tương tự vào các cache khác.

Bài viết tiết lộ những tối ưu hóa cấp độ Rust giúp tiết kiệm 100 terabyte bộ nhớ cho cache DNS của Cloudflare.

This Week in Rust 667 · This Week in Rust

Mỗi tuần, bản tin This Week in Rust tổng hợp tin tức từ cộng đồng Rust, bao gồm thông tin từ Rust Foundation và các dự án đang phát triển. Nguyên nhân kỹ thuật: bản tin này nhấn mạnh các cập nhật như Wasmi 2.0, việc tăng tốc Rustdoc, và hỗ trợ async FFI giữa Rust và C#. Hệ quả: độc giả nhận được highlights của pull request trên trình biên dịch, thư viện, Cargo, Rustdoc, Clippy và rust‑analyzer, cùng báo cáo triage hiệu suất biên dịch và danh sách RFC đang trong giai đoạn bình luận cuối cùng. Điều đáng học: việc theo dõi các crate của tuần (ví dụ buf_read_splitter) và các sự kiện, việc tuyển dụng giúp lập trình viên nắm được công cụ mới, tối ưu hiệu suất và mở rộng khả năng tương tác ngôn ngữ. Ngoài ra, bản tin còn cung lời trích dẫn tuần và lời gọi tham gia kiểm thử, giúp cộng đồng đóng góp tích cực vào sự phát triển của Rust.

Bài viết tổng hợp hàng tuần cung cấp cập nhật quan trọng về Rust Foundation, dự án và công cụ mới, giúp lập trình viên nắm bắt xu hướng và cải thiện kỹ năng lập trình Rust hiệu quả.

gRPC-Rust Roadmap

Đội ngũ gRPC-Rust vừa hoàn thành bản preview phía client và đang chuẩn bị cho các bước phát triển tiếp theo. Họ cần giải quyết các vấn đề về tính ổn định của API, tích hợp hoàn toàn với mô hình async/await của Rust và nâng cấp lớp mã hoá TLS dựa trên thư viện native-tls. Khi các tính năng này ổn định, nhà phát triển sẽ có thể xây dựng dịch vụ gRPC hoàn toàn bằng Rust mà không cần phụ thuộc vào bản triển khai C++, giảm latency và tối ưu hoá sử dụng bộ nhớ. Dự án cho thấy giá trị của việc phát hành preview sớm để thu thập phản hồi cộng đồng trước khi khóa API, giúp giảm nguy cơ thay đổi phá vỡ sau này. Lộ trình cũng nhấn mạnh tầm quan trọng của việc duy trì sự tương thích ngược với protobuf và cung cấp công cụ codegen tự động qua tonic-build.

Bài này cung cấp lộ trình phát triển tiếp theo của gRPC-Rust giúp lập trình viên nắm định hướng công nghệ và lên kế hoạch phát triển hệ thống hiệu quả.

Why use ORMs if LLMs write code?

ORMs vẫn cần thiết vì chúng cung cấp lớp trừu tượng an toàn, hiệu quả để tương tác với cơ sở dữ liệu, trong khi LLMs chỉ sinh code tiềm ẩn rủi ro lỗi, kém tối ưu và khó bảo trì. ORMs giúp chuẩn hóa truy vấn, tránh SQL injection và tối ưu hóa hiệu suất thông qua caching, điều mà code do LLM sinh ra khó đảm bảo.

Lập trình viên nên đọc bài này để hiểu cách ORM và SQL vẫn giữ vai trò quan trọng trong quản lý dữ liệu cơ bản, giúp tránh rủi ro lỗi và tối ưu hóa hiệu suất khi ứng dụng lớn cần kiểm soát trực tiếp dữ liệu.