Solving retail’s cold-start problem: Malachyte's recommendation reinvention

ByteByteGo1 Hot6 min2 d agoAI

EP223: Ollama vs vLLM vs SGLang

Cần chạy các mô hình trọng lượng mở trên máy cá nhân, người dùng thường lựa chọn giữa Ollama, vLLM và SGLang làm engine phục vụ. Mỗi engine có cách xử lý request riêng biệt, từ cách quản lý batch hingga cơ chế phân trang bộ nhớ. Sự khác biệt này dẫn đến hiệu suất và độ trễ khác nhau khi cùng một mô hình được triển khai trên cùng phần cứng. Ollama tende tới đơn giản hóa việc khởi động và tương tác qua command line, trong khi vLLM tập trung tối ưu throughput bằng PagedAttention và SGLang nhấn mạnh linh hoạt trong việc kết hợp các tác vụ tạo và xử lý song song. Do đó, việc chọn engine phù hợp phụ thuộc vào ưu tiên giữa dễ sử dụng, tốc độ xử lý lớn và khả năng tùy chỉnh cao.

Bài viết này giúp lập trình viên hiểu rõ sự khác biệt giữa ba công cụ chính (Ollama, vLLM, và SGLang) để sử dụng mô hình open-weight trên máy tính, từ đó chọn ra giải pháp tối ưu cho nhu cầu của mình.

#git #apache-kafka #ai-inference Source

Towards Data Science1 Hot16 min2 d agoAI

Why We Fine-Tuned SigLip (And Why That’s Not Always the Right Call)

Alma Media đã xây dựng một bộ phân loại hình ảnh riêng để xử lý ảnh đăng tin bất động sản trong 23 lớp phòng và nội dung. Họ đã so sánh SigLIP đóng băng, DINOv2 đóng băng và SigLIP được tinh chỉnh bằng LoRA trên tập dữ liệu riêng 40.000 ảnh, cho thấy LoRA nâng micro F1 từ 78,4% lên 82,6% và giảm tỷ lệ ảnh không gán nhãn từ 9,4% xuống 3,4% (gần với mức cơ bản tự nhiên 3,9%). Trong đó, lớp GARDEN tăng recall 26 điểm, trong khi việc chỉ chuyển sang DINOv2 đã hồi phục hơn một nửa khoảng cách này mà không cần tinh chỉnh. So sánh chi phí cho thấy việc gọi API VLM như Gemini tốn khoảng 1.500 USD cho mỗi triệu ảnh, natomiast bộ phân loại tự chạy trên GPU chỉ tốn 0,37 USD/triệu ảnh và một lần sweep toàn bộ siêu tham số LoRA chỉ khoảng 30 USD. Bài học là việc tinh chỉnh với LoRA có thể cải thiện chỉ số, nhưng việc chọn một mô hình nền tảng tốt hơn (ví dụ DINOv2) hoặc giữ nguyên backbone thường đạt được lợi益 tương đương với chi phí thấp hơn, nên teams cần cân nhắc kích thước dữ liệu, ngân sách nhãn và chi phí suy luận trước khi quyết định fine‑tune.

Bài viết này cung cấp framework ra quyết định chi tiết và so sánh thực tế giữa việc fine-tune SigLIP, sử dụng DINOv2 hay gọi API VLM giúp lập trình viên tối ưu hóa lựa chọn mô hình hình ảnh với chi phí và hiệu suất tối ưu.

#deep-learning #computer-vision #lora Source

freeCodeCamp1 Hot31 min2 d agoAI

Neural Networks Explained: What They Are and How to Build One in Python

Bài viết giới thiệu về mạng neural là mô hình cơ bản đứng sau nhiều ứng dụng AI hiện đại như nhận dạng chữ viết tay, lọc spam, đề xuất video và xử lý ngôn ngữ tự nhiên. Nó giải thích cấu trúc của mạng bao gồm các lớp nerve cell (neuron), hàm kích hoạt và quá trình lan truyền thuận cùng lan truyền ngược để cập nhật trọng số. Tác giả hướng dẫn cách xây dựng một mạng neural đơn giản từ đầu bằng Python, minh họa với quá trình huấn luyện và đánh giá trên một bộ dữ liệu mẫu. Qua đó, readers thấy được mối quan hệ trực tiếp giữa việc chọn hàm kích hoạt, learning rate và số lớp ẩn với hiệu suất cuối cùng của mô hình. Bài học chính là nắm vững nguyên lý toán học và triển khai cơ bản sẽ giúp lập trình viên dễ dàng chọn framework phù hợp, tinh chỉnh siêu tham số và gỡ lỗi khi làm việc với các mô hình deep learning thực tế.

Bài viết giải thích rõ ràng về mạng thần kinh kinh điển và cách triển khai trong Python, giúp lập trình viên nắm vững nền tảng AI hiện đại.

#python #deep-learning #neural-networks Source

Sebastian Raschka49 Hot3 min27 d agoAI

Kimi K3 Architecture Notes

Bài viết giới thiệu ngắn gọn kiến trúc Kimi K3 với các công nghệ chính như LatentMoE, Kimi Delta Attention, Attention Residuals, NoPE, khả năng đa phương thức (multimodality) và những lựa chọn tối ưu hóa hiệu suất suy luận (inference-efficiency).

Lập trình viên phát triển AI hoặc tích hợp mô hình ngôn ngữ lớn nên đọc để hiểu cách Kimi K3 tối ưu hóa kiến trúc mô hình bằng các kỹ thuật mới như LatentMoE và NoPE, giúp cải thiện hiệu suất tính toán và giảm chi phí trên thiết bị thực tế.

#llm #deep-learning #mixture-of-experts Source

Sebastian Raschka23 Hot2 min17 d agoAI

LLMs From Scratch Reaches 100,000 GitHub Stars

Kho lưu trữ LLMs-from-scratch trên GitHub đã vượt mốc 100.000 lượt star, cung cấp tài liệu học tập toàn diện về xây dựng mô hình ngôn ngữ lớn (LLMs) từ đầu.

Lập trình viên muốn tự xây dựng kiến thức về mô hình ngôn ngữ lớn từ cơ bản đến thực hành, tránh bị phụ thuộc vào các công cụ thương mại và khám phá cách xây dựng AI theo nguyên lý khoa học.

#llm #deep-learning Source

Hacker News55 Hot2 min1 mo agoAI

[2607.11938] Mathematics of Data Science

Bài báo arXiv 2607.11938 giới thiệu phần tóm tắt về lĩnh vực "Toán học của Khoa học Dữ liệu", đề cập đến các nền tảng toán học ứng dụng trong phân tích dữ liệu.

Những kỹ thuật toán và lý thuyết toán học trong bài viết này sẽ giúp bạn hiểu sâu hơn về cách xây dựng mô hình học máy hiệu quả hơn, từ đó tối ưu hóa thời gian và chất lượng dự án của mình.

#machine-learning #data-science #deep-learning Source

Hackaday40 Hot2 min1 mo agoAI

Google Maps Killed The Restaurant Star

Nhà nghiên cứu Lauren Leek phát hiện thuật toán xếp hạng nhà hàng của Google Maps ưu tiên chuỗi cửa hàng, địa điểm đông khách và các vị trí được trả phí, khiến những quán mới hoặc ít tên tuổi khó nổi bật. Cô xây dựng bảng điều khiển công khai sử dụng machine learning để khám phá những quán ẩn mình có chất lượng vượt trội.

Những lập trình viên muốn hiểu cách hệ thống xếp hạng tự động của Google Maps hoạt động, từ đó tìm cách cải thiện hoặc phân tích các cơ chế xếp hạng trong các ứng dụng tương tự để tạo ra giải pháp công bằng và hiệu quả hơn.

#machine-learning #data-science #recommendation-systems Source

Hugging Face36 Hot12 min1 mo agoAI

Newer Models, Same Advantage

Bài đăng trên Hugging Face của Dharma-AI giới thiệu những phiên bản nâng cấp của mô hình với những ưu điểm tương tự như trước.

Lập trình viên nên đọc bài này để hiểu cách các mô hình AI mới nhất trên Hugging Face không chỉ nâng cấp hiệu suất mà còn mở rộng khả năng ứng dụng thực tế cho các dự án AI/ML của riêng họ.

#machine-learning #deep-learning Source

Solving retail’s cold-start problem: Malachyte's recommendation reinvention

What do you remember?

Recommended for you

Bình luận

EP223: Ollama vs vLLM vs SGLang

Why We Fine-Tuned SigLip (And Why That’s Not Always the Right Call)

Neural Networks Explained: What They Are and How to Build One in Python

Kimi K3 Architecture Notes

LLMs From Scratch Reaches 100,000 GitHub Stars

[2607.11938] Mathematics of Data Science

Google Maps Killed The Restaurant Star

Newer Models, Same Advantage

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads