Unified Memory, Explained: Why Mini PCs Can Run 70B Models a Big GPU Can't (and Where They Slow Down)

Unified memory is the key concept behind mini PCs running 70B LLMs that consumer GPUs cannot. A 128GB unified-memory box like the AMD Ryzen AI Max+ 395 can load a 40GB 4-bit quantized 70B model that won't fit in a 32GB RTX 5090, but pays a steep speed penalty due to far lower memory bandwidth (~256 GB/s vs ~1,792 GB/s). Text generation speed is memory-bandwidth-bound (roofline model), yielding only 4–6 tokens/sec on dense 70B models. Prompt processing (prefill) is compute-bound and even slower on integrated GPUs, making long-context use painful. NPUs are largely irrelevant for local LLM chat due to shared bandwidth and lack of software support. Mixture-of-Experts models (e.g., Qwen3-30B-A3B) are the sweet spot, activating far fewer parameters per token and achieving 70+ tok/s on the same hardware. The article provides a decision table matching use cases to hardware and references owner-measured benchmarks from ServeTheHome, Level1Techs, and The Register.

Nguồn: https://vettedconsumer.com/unified-memory-explained-why-mini-pcs-can-run-70b-models-a-big-gpu-cant-and-where-they-slow-down. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

XDA Developers1 Hot5 phút1 giờ trướcAI

I finally ditched Ollama after using llama.cpp's WebUI, and I'm not going back anytime soon

Người dùng chuyển từ Ollama sang llama.cpp nhờ WebUI mới tích hợp, chạy bằng lệnh terminal đơn giản, mang lại tốc độ sinh token nhanh hơn (100 vs 93 t/s cho Gemma) và độ trễ thấp hơn, đồng thời cung cấp kiểm soát sâu về inference. Tuy trải nghiệm khởi động kém tiện lợi hơn, nhưng đây là lựa chọn hiệu năng tốt cho người dùng chuyên sâu hoặc phần cứng hạn chế.

Lập trình viên muốn tối ưu hóa hiệu suất AI trên thiết bị cá nhân hoặc phát triển ứng dụng mạnh mẽ nên tìm hiểu cách sử dụng WebUI của llama.cpp để so sánh với Ollama, vì nó mang lại tốc độ xử lý nhanh hơn và kiểm soát chi tiết hơn cho các ứng dụng yêu cầu tính năng cao.