Visualising High-dimensional Data with R workshop

Hugging Face18 Hot8 min11 d agoAI

Quantization-Aware Healing: a compressed, 4-bit model that outperforms its full-precision original

Bài viết giới thiệu phương pháp Quantization‑Aware Healing (QAH) được phát triển bởi Multiverse Computing để nén mô hình ngôn ngữ lớn xuống 4‑bit mà không làm giảm hiệu suất. QAH kết hợp quantization‑aware training với một bước healing sau huấn luyện, trong đó một mạng phụ nhỏ được học để bù lại sai số lượng tử hóa gây ra. Kết quả cho thấy mô hình 4‑bit sau healing đạt được mức perplexity tương đương, và trong một số trường hợp thậm chí tốt hơn so với phiên bản full‑precision (32‑bit) ban đầu. Việc này đồng thời giảm kích thước bộ nhớ cần thiết xuống khoảng 1⁄8 (≈87,5%) và tăng tốc độ suy luận trên phần cứng hỗ trợ tính toán nguyên số. Điều đáng học là việc đầu tư vào quá trình healing có thể bù lại phần lớn tổn thất từ quantization, cho phép triển khai mô hình mạnh mẽ trên môi trường tài nguyên hạn chế mà không hy sinh chất lượng.

Bài viết này giúp lập trình viên hiểu cách tạo mô hình lượng hóa 4-bit hiệu suất hơn cả mô hình full-precision gốc.

#machine-learning #data-science #llm Source

Daily Dose of Data Science | Avi Chawla | Substack1 Hot12 min3 d agoAI

Stop Guessing Which Local Model To Run

Bối cảnh: Nhiều nhà phát triển AI muốn chạy mô hình trên máy cá nhân để tiết kiệm chi phí và bảo vệ dữ liệu, nhưng họ thường cảm thấy bối rối khi phải chọn giữa hàng chục mô hình khác nhau. Nguyên nhân kỹ thuật: Bài viết chỉ ra rằng sự thiếu hụt các chỉ số chuẩn hoá về mức tiêu thụ VRAM, thời gian suy luận và chất lượng đầu ra khiến việc so sánh trực tiếp trở nên khó khăn. Hệ quả: Do thiếu thông tin cụ thể, các đội thường lãng phí thời gian thử nghiệm nhiều mô hình không phù hợp, dẫn đến hiệu suất kém hoặc thậm chí không thể chạy do bộ nhớ vượt quá khả năng phần cứng. Điều đáng học: tác giả khuyên dùng công cụ đo lường tài nguyên như nvidia-smi hoặc các script benchmark nội bộ, đồng thời ưu tiên mô hình đã được lượng tử hoá (quantization) để vừa giảm kích thước vừa giữ độ chính xác chấp nhận được. Kết luận: Khi biết cách đo lường và áp dụng lượng tử hoá phù hợp, lập trình viên có thể tự tin chọn mô hình local tối ưu cho phần cứng của mình mà không cần phải đoán mò.

Bài viết này sẽ giúp bạn lựa chọn và triển khai mô hình AI cục bộ hiệu quả nhất cho dự án cụ thể của mình.

#data-science #ai-agent #ai-inference Source

Hackaday3 Hot2 min6 d agoAI

LLM Moats Quickly Evaporating

Một bài viết mới cho thấy các mô hình LLM mã nguồn mở như Qwen3.8 27B và Qwen3.6 đã giảm thiểu lợi thế cạnh tranh mà Anthropic và OpenAI từng có nhờ chi phí tính toán khổng lồ. Các phiên bản đã quan sát hoá của chúng được chạy trên máy Mac Studio với 256GB RAM và có thể được giảm xuống để hoạt động trên PC chơi game chỉ có 32GB RAM, trong khi một mô hình 1-bit vẫn chạy trên thiết bị 16GB, dù chất lượng bị giảm. Do đó, phần cứng vật lý trở thành rào cản duy nhất để triển khai các mô hình lớn tại chỗ thay vì phụ thuộc vào dịch vụ đám mây có chủ sở hữu. Đối với các lập trình viên cân nhắc có nên đọc bài gốc, họ sẽ thấy rằng các cải tiến hiệu suất đang làm chậm sự khác biệt giữa môi trường mở và khép kín, khiến việc triển khai tại chỗ ngày càng khả thi. Bài viết nêu con số cụ thể như 27B, 32GB, 16

Bài viết này giúp lập trình viên hiểu xu hướng chạy các mô hình AI mạnh mẽ ngay tại máy cá nhân thay vì phụ thuộc vào dịch vụ đám mây.

#open-source #data-science #llm Source

Hugging Face1 Hot8 min3 d agoAI

BenchMIRT: What are LLM benchmarks actually measuring?

Bối cảnh của nghiên cứu này đặt câu hỏi về độ tin cậy của các benchmark LLM hiện tại. Nguyên nhân kỹ thuật là nghiên cứu chỉ ra nhiều benchmark có điểm số tương đồng đáng kể (correlation coefficient up to 0.87), dẫn đến nghi ngờ chúng đang đo lường chung một yếu tố kỹ thuật nào đó thay vì đa dạng năng lực. Hệ quả là kết quả benchmark có thể không phản ánh đúng năng lực thực tế của model trên các tác vụ cụ thể. Điều đáng học là các nhà phát triển nên cẩn trọng khi chọn benchmark và hiểu giới hạn của từng test suite, đặc biệt khi có sự tương quan cao giữa điểm số của các benchmark khác nhau như MMLU, GSM8K, HumanEval.

Bài viết này giúp lập trình viên hiểu rõ các đánh giá LLM đang đo lường những gì thực sự.

#ai #data-science #ai-safety Source

Hacker News55 Hot2 min1 mo agoAI

[2607.11938] Mathematics of Data Science

Bài báo arXiv 2607.11938 giới thiệu phần tóm tắt về lĩnh vực "Toán học của Khoa học Dữ liệu", đề cập đến các nền tảng toán học ứng dụng trong phân tích dữ liệu.

Những kỹ thuật toán và lý thuyết toán học trong bài viết này sẽ giúp bạn hiểu sâu hơn về cách xây dựng mô hình học máy hiệu quả hơn, từ đó tối ưu hóa thời gian và chất lượng dự án của mình.

#machine-learning #data-science #deep-learning Source

Hackaday40 Hot2 min1 mo agoAI

Google Maps Killed The Restaurant Star

Nhà nghiên cứu Lauren Leek phát hiện thuật toán xếp hạng nhà hàng của Google Maps ưu tiên chuỗi cửa hàng, địa điểm đông khách và các vị trí được trả phí, khiến những quán mới hoặc ít tên tuổi khó nổi bật. Cô xây dựng bảng điều khiển công khai sử dụng machine learning để khám phá những quán ẩn mình có chất lượng vượt trội.

Những lập trình viên muốn hiểu cách hệ thống xếp hạng tự động của Google Maps hoạt động, từ đó tìm cách cải thiện hoặc phân tích các cơ chế xếp hạng trong các ứng dụng tương tự để tạo ra giải pháp công bằng và hiệu quả hơn.

#machine-learning #data-science #recommendation-systems Source

freeCodeCamp1 Hot16 min4 d agoAI

What Every Dev Should Know About Tracking Product Data

Product data là bản ghi chi tiết về hành vi người dùng và hệ thống trong ứng dụng hoặc website. Nó cho phép thu thập các sự kiện như click, view, transaction và lưu trữ chúng trong các hệ thống phân tích. Khi có dữ liệu này, các đội có thể đo lường các KPIs, tối ưu luồng người dùng và cải thiện quyết định dựa trên dữ liệu thực tế. Vì vậy, việc nắm vững cách thu thập và phân tích product data giúp giảm thiểu rủi ro và tăng tốc độ phát triển. Do đó, bất kỳ lập trình viên nào cũng nên đọc bài để hiểu sâu hơn về quy trình tracking.

Bài viết này giúp lập trình viên hiểu cách thu thập và phân tích dữ liệu sản phẩm để cải thiện trải nghiệm người dùng và hiệu suất hệ thống.

#data-science #observability #data-privacy Source

XDA Developers1 Hot4 min5 d agoAI

I stopped downloading bigger local models and started running two small ones at once

Bạn đang cân nhắc đọc bài vì nó đề cập đến việc thay thế một local model 8GB bằng cách chạy song song hai local models 2GB trên cùng một máy. Nguyên nhân kỹ thuật nằm ở việc giảm áp lực rememory khi mỗi mô hình vừa đủ để chứa trọng số và gradient, khiến việc load và inference nhanh hơn. Hệ quả là tổng thời gian xử lý giảm đáng kể và tiêu thụ bộ nhớ thấp hơn so với việc duy trì một local model lớn. Kết luận là việc dùng nhiều local models nhỏ có thể hiệu quả hơn một local model to khi tài nguyên bị giới hạn. Bạn nên đọc bài nếu muốn hiểu cách tối ưu hoá inference bằng cách chia tải cho nhiều mô hình nhỏ thay vì cố gắng nâng cấp bộ nhớ.

Hai mô hình nhỏ 2GB chạy đồng thời mang lại hiệu quả vượt trội hơn một mô hình lớn 8GB.

#data-science #gpu #local-ai Source

Visualising High-dimensional Data with R workshop

Recommended for you

Bình luận

Quantization-Aware Healing: a compressed, 4-bit model that outperforms its full-precision original

Stop Guessing Which Local Model To Run

LLM Moats Quickly Evaporating

BenchMIRT: What are LLM benchmarks actually measuring?

[2607.11938] Mathematics of Data Science

Google Maps Killed The Restaurant Star

What Every Dev Should Know About Tracking Product Data

I stopped downloading bigger local models and started running two small ones at once

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads