How Much Does It Actually Cost to Run a Local LLM? (Euros per Million Tokens, Measured)

A hands-on benchmark measuring the actual GPU electricity cost of running eight local LLMs on a single RTX 3090, expressed as euros per million output tokens. Power was sampled from nvidia-smi every 10 seconds during each run and integrated over the exact run window, then divided by output tokens. Key finding: cost per token is driven by effective wall-clock throughput (output tokens ÷ total run time including deliberation), not raw generation speed or parameter count. DeepSeek-R1-Distill at 32.8B turned out the most expensive model tested (€1.526/1M) because its reasoning pauses tank effective throughput to 3.7 tok/s, while tiny gemma3:1b was cheapest at 136 tok/s. Five of eight models beat hosted Flash-class API pricing (~€0.55/1M). The post also walks through the open-source HomeLab Monitor tool used to automate run pricing.

Nguồn: https://towardsdatascience.com/how-much-does-it-actually-cost-to-run-a-local-llm-e-per-million-tokens-measured. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

freeCodeCamp2 Hot10 phút16 giờ trướcAI

How to Build and Schedule Local AI Assistants for Daily Tasks

Hướng dẫn từng bước xây dựng trình lập lịch AI cục bộ bằng Python, Ollama và LangChain, chạy trên cron schedule. Hệ thống tự động thực thi nhiều AI agent (kiểm tra cổ phiếu, bản tin, dự báo thời tiết) và lưu kết quả dưới dạng file Markdown, với mô hình Qwen chạy cục bộ qua Ollama để tiết kiệm chi phí và bảo mật dữ liệu.

Lập trình viên muốn tự động hóa công việc hàng ngày với các AI công cụ riêng lẻ mà không phụ thuộc vào các dịch vụ cloud và chi phí cao, đồng thời tiết kiệm thời gian thiết lập và mở rộng hệ thống.

#general-programming