Đang tải bảng tin…
XDA Developers0 Hot0 bình luận4 phút đọc
Llama.cpp, Speeches, and Open WebUI turned my Raspberry Pi into a voice assistant that actually works
A hands-on walkthrough of building a fully local voice assistant on a Raspberry Pi 5 using llama.cpp with the Qwen3.5-2B model, Speaches for STT/TTS (faster-distil-whisper-small.en and Kokoro-82M), and Open WebUI as the interface. The author chose llama.cpp over Ollama to reduce performance overhead on the ARM SBC, used Raspberry Pi OS Lite to minimize resource usage, and connected everything via OpenAI-compatible APIs. A browser flag workaround was needed to allow microphone access over HTTP. The result is a responsive voice assistant that runs entirely offline without GPU hardware.
Nguồn: https://www.xda-developers.com/i-built-a-voice-assistant-with-my-raspberry-pi. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Đề xuất cho bạn
Hacker News1 Hot7 phútAI
Hands-On with the AMD Ryzen AI Halo
AMD Ryzen AI Halo là máy tính để bàn nhỏ gọn chạy trên bộ vi xử lý AMD Ryzen AI Max+ 395 với 128GB RAM LPDDR5x thống nhất, cho phép chạy mô hình AI lớn cục bộ mà không cần phụ thuộc đám mây. Thiết bị có thể phân bổ tới 96GB làm VRAM, hỗ trợ chạy các mô hình như GPT-OSS-120b với tốc độ khoảng 45 tokens/giây, tương đương các công cụ AI trên đám mây. Bài viết cũng đề cập đến trải nghiệm thực tế, cài đặt hệ thống AI headless và phiên bản hệ điều hành sẵn có.
Lập trình viên muốn tối ưu hóa triển khai AI trên thiết bị cá nhân nên đọc để hiểu cách vận dụng hiệu năng của Ryzen AI Max+ 395 và VRAM 96GB để chạy mô hình lớn như GPT-120B một cách hiệu quả, từ việc triển khai trên Linux đến cấu hình server headless.
