Alexander Rakhlin named director of the MIT Statistics and Data Science Center

Latent Space1 Hot110 min1 h agoAI

The Inference Engineering Masterclass — Philip Kiely & Ali Taha, Baseten

Baseten vừa huy động thành công 13 tỷ USD trong vòng Series F, trở thành một trong những công ty dẫn đầu trong lĩnh vực kỹ thuật inference. Bài viết cung cấp toàn diện kiến thức cần thiết về autoregressive và diffusion engineering.

Nếu bạn đang xây dựng các mô hình AI tự động hóa hoặc tối ưu hóa quy trình xử lý dữ liệu, bài này sẽ giúp bạn hiểu cách Baseten và các nhà lãnh đạo ngành như Philip Kiely và Ali Taha đã định hình một lĩnh vực mới—inference engineering—để nâng cao hiệu suất và chi phí của các hệ thống AI, từ đó giúp bạn áp dụng những kiến thức này vào dự án của mình một cách hiệu quả.

#data-science #llm #gpu Source

Flipkart Tech1 Hot12 min10 h agoAI

LLMs for Relevance: Automating High-Quality Product Relevance Labeling in Flipkart Search

Flipkart ứng dụng các mô hình ngôn ngữ lớn (LLMs) để tự động gán nhãn mức độ phù hợp (relevance labeling) cho sản phẩm trong kết quả tìm kiếm, nhằm nâng cao chất lượng và độ chính xác so với phương pháp thủ công truyền thống.

Nếu bạn đang tìm cách nâng cao hiệu quả của hệ thống tìm kiếm sản phẩm bằng cách tự động phân loại độ phù hợp cao mà không phải phụ thuộc vào người dùng thủ công, bài viết này sẽ cung cấp cách sử dụng các mô hình ngôn ngữ lớn (LLMs) để giải quyết vấn đề này một cách hiệu quả và tiết kiệm chi phí.

#data-science #llm #deep-learning Source

AWS1 Hot2 min2 h agoAI

Amazon SageMaker AI serverless model customization now supports full fine-tuning

Amazon SageMaker AI giờ đây hỗ trợ full fine-tuning cho tùy chỉnh mô hình serverless, giúp tối ưu hiệu suất linh hoạt hơn.

Lập trình viên phát triển AI nên đọc bài này để khám phá cách tối ưu hóa mô hình deep learning của mình trên AWS với tính năng fine-tuning hoàn toàn trên máy chủ serverless, giúp tiết kiệm chi phí và tăng hiệu suất cho các dự án mô hình AI quy mô nhỏ đến trung bình.

#machine-learning #aws #llm Source

Facebook Engineering 1 Hot24 min5 h agoAI

GEM Training: How Meta Doubled the Efficiency of Its LLM-Scale Ads Foundation Model

Meta đã tăng gấp đôi hiệu quả đào tạo end-to-end (đạt 20–25% MFU) cho mô hình quảng cáo GEM (LLM-scale) nhờ hai trụ cột: tối ưu hóa tính toán (thư viện kernel tùy chỉnh như Jagged Flash Attention, MXFP8) và hiệu quả mở rộng (5D parallelism, NCCLX, Base Batch Shuffling). Thách thức chính bao gồm đầu vào biến độ dài, mẫu attention bất đối xứng, độ nhạy số học của mục tiêu CTR/CVR, và bảng embedding siêu lớn gây tắc nghẽn bộ nhớ.

Lập trình viên chuyên về mô hình AI/ML nên đọc bài này để tìm hiểu cách tối ưu hóa hiệu suất huấn luyện mô hình lớn bằng kiến thức về parallelism, quantization, và kỹ thuật đặc biệt như Flash Attention và FSDP, giúp giảm chi phí tính toán và tăng tốc triển khai trong ứng dụng thực tế.

#machine-learning #llm #gpu Source

Medium0 Hot6 min1 d agoAI

What Breaks a Machine Learning Pipeline Before It Deploys

Hầu hết dự án machine learning thất bại không phải vì mô hình hoạt động kém, mà do lỗi ở các giai đoạn ngầm khác trong pipeline triển khai.

Một lập trình viên nên đọc bài này để hiểu rõ những lỗi thường gặp, ít được chú ý nhưng có thể phá hủy hiệu suất và độ tin cậy của mô hình ML ngay trước khi triển khai, giúp bạn tránh những rủi ro không mong muốn.

#machine-learning #backend #mlops Source

Hackaday40 Hot2 min13 d agoAI

Google Maps Killed The Restaurant Star

Nhà nghiên cứu Lauren Leek phát hiện thuật toán xếp hạng nhà hàng của Google Maps ưu tiên chuỗi cửa hàng, địa điểm đông khách và các vị trí được trả phí, khiến những quán mới hoặc ít tên tuổi khó nổi bật. Cô xây dựng bảng điều khiển công khai sử dụng machine learning để khám phá những quán ẩn mình có chất lượng vượt trội.

Những lập trình viên muốn hiểu cách hệ thống xếp hạng tự động của Google Maps hoạt động, từ đó tìm cách cải thiện hoặc phân tích các cơ chế xếp hạng trong các ứng dụng tương tự để tạo ra giải pháp công bằng và hiệu quả hơn.

#machine-learning #data-science #recommendation-systems Source

Hacker News55 Hot2 min17 d agoAI

[2607.11938] Mathematics of Data Science

Bài báo arXiv 2607.11938 giới thiệu phần tóm tắt về lĩnh vực "Toán học của Khoa học Dữ liệu", đề cập đến các nền tảng toán học ứng dụng trong phân tích dữ liệu.

Những kỹ thuật toán và lý thuyết toán học trong bài viết này sẽ giúp bạn hiểu sâu hơn về cách xây dựng mô hình học máy hiệu quả hơn, từ đó tối ưu hóa thời gian và chất lượng dự án của mình.

#machine-learning #data-science #deep-learning Source

SitePoint1 Hot18 min2 d agoAI

The KV Cache Survival Guide: Why Your GPU Runs Out of Memory with Local LLMs

Bài viết giải quyết vấn đề phổ biến nhất khi chạy mô hình ngôn ngữ lớn (LLM) cục bộ: tình trạng thiếu VRAM do chi phí lưu trữ KV cache (key-value cache) trong GPU. Nó giải thích nguyên nhân khiến GPU hết bộ nhớ giữa cuộc hội thoại và cung cấp công cụ tính toán trực quan để ước lượng dung lượng cần thiết từ trọng số mô hình, KV cache và overhead.

Những lập trình viên phát triển ứng dụng AI trên thiết bị cá nhân sẽ hiểu rõ cách tối ưu hóa bộ nhớ GPU để tránh tình trạng "dung lượng VRAM cạn kiệt" khi chạy các mô hình ngôn ngữ lớn trong quá trình tương tác, từ đó cải thiện hiệu suất và trải nghiệm sử dụng.

#machine-learning #llm #ai-inference Source

Alexander Rakhlin named director of the MIT Statistics and Data Science Center

Recommended for you

The Inference Engineering Masterclass — Philip Kiely & Ali Taha, Baseten

LLMs for Relevance: Automating High-Quality Product Relevance Labeling in Flipkart Search

Amazon SageMaker AI serverless model customization now supports full fine-tuning

GEM Training: How Meta Doubled the Efficiency of Its LLM-Scale Ads Foundation Model

What Breaks a Machine Learning Pipeline Before It Deploys

Google Maps Killed The Restaurant Star

[2607.11938] Mathematics of Data Science

The KV Cache Survival Guide: Why Your GPU Runs Out of Memory with Local LLMs

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads