From Cloud LLM to On-Device Whisper: Turning Speech into Structured Actions on Android

XDA Developers1 Hot4 min8 h agoAI

I ditched Ollama for Docker, and my local LLM setup finally stopped being a hassle

Người viết chuyển từ Ollama sang Docker để đơn giản hóa việc thiết lập LLM (Large Language Model) cục bộ nhờ tính tiện lợi của Docker.

Lập trình viên nên đọc bài này vì Docker giúp giải quyết vấn đề phức tạp của các mô hình AI lớn trên máy tính cá nhân, từ bỏ sự phức tạp của Ollama và mang lại sự ổn định, dễ sử dụng hơn cho việc triển khai và chạy các ứng dụng AI trên môi trường cá nhân.

#docker #local-ai #docker-compose Source

XDA Developers0 Hot5 min3 h agoAI

A used Tesla V100 has quietly become the cheapest way to run local LLMs at home

Thẻ đồ họa Tesla V100 cũ từ trung tâm dữ liệu đang trở thành lựa chọn tiết kiệm nhất để chạy các mô hình ngôn ngữ lớn (LLMs) tại nhà nhờ hiệu năng cao và giá thành thấp.

Nếu bạn đang tìm cách tối ưu chi phí và hiệu suất cho các mô hình AI lớn tại nhà mà không cần đầu tư vào hardware mới, bài viết này sẽ chỉ cho bạn cách sử dụng card GPU cũ như Tesla V100 để chạy các mô hình LLM hiệu quả và tiết kiệm.

#nvidia #gpu #local-ai Source

JetBrains1 Hot4 min10 h agoAI

KotlinLLM is Going Open Source

KotlinLLM, một nguyên mẫu nghiên cứu nhằm ủy thác logic runtime cho LLM từ mã Kotlin, đã được công khai. Thay vì gọi LLM cho mỗi yêu cầu hoặc chạy một agent riêng biệt, bạn có thể viết logic trực tiếp trong code Kotlin.

Là một lập trình viên muốn tối ưu hóa hiệu suất và tính linh hoạt của ứng dụng bằng cách sử dụng trí tuệ nhân tạo một cách hiệu quả, KotlinLLM sẽ giúp bạn tự động hóa logic phức tạp mà không cần phụ thuộc vào các API LLM truyền thống.

#devtools #kotlin #jetbrains Source

Medium1 Hot5 min1 d agoAI

How I Boosted a Local SQL Agent’s Accuracy from 13% to 72% in Production

Tác giả đã cải thiện độ chính xác của SQL Agent từ 13% lên 72% trong môi trường sản xuất bằng cách xây dựng một trợ lý nông nghiệp riêng tư kết hợp hybrid RAG, mô hình Qwen2.5 7B và LangChain trên GPU tiêu dùng.

Nếu bạn đang làm việc với các hệ thống tự động hóa dữ liệu SQL hoặc xây dựng giải pháp AI tích hợp với cơ sở dữ liệu, bài viết này sẽ giúp bạn hiểu cách tối ưu hóa độ chính xác của các mô hình AI trong môi trường sản xuất thực tế.

#postgresql #rag #langchain Source

The Next Web91 Hot4 min29 d agoAI

Google earthquake alerts warned 11.4M in Venezuela

Hệ thống Google Earthquake Alerts đã cảnh báo 11,4 triệu người dùng Android tại Venezuela vài giây trước hai trận động đất mạnh 7,2 và 7,5 độ Richter. Hệ thống này sử dụng cảm biến gia tốc trong điện thoại để phát hiện sóng sơ cấp và gửi cảnh báo trước khi sóng thứ cấp gây phá hủy ập đến, đóng vai trò quan trọng khi Venezuela không có hệ thống cảnh báo động đất quốc gia.

Nếu bạn đang tìm hiểu về công nghệ cảnh báo động đất hiệu quả và ứng dụng của AI trong bảo vệ an toàn công cộng, bài viết này cho thấy cách một hệ thống dựa trên thiết bị di động có thể thay thế các hệ thống truyền thống đắt tiền, mang lại hiệu quả cao trong các khu vực thiếu nguồn lực.

#google #android Source

XDA Developers6 Hot4 min8 d agoAI

4 apps I always remove from every new Pixel phone before I install anything else

Tôi luôn gỡ bốn ứng dụng mặc định này khỏi điện thoại Pixel mới trước khi cài bất kỳ thứ gì khác để trải nghiệm mượt mà hơn.

Lập trình viên nên đọc bài này để hiểu cách tối ưu hóa bộ nhớ và hiệu suất hệ thống trên thiết bị Android bằng cách loại bỏ các ứng dụng không cần thiết sẵn có, giúp tiết kiệm tài nguyên cho các ứng dụng phát triển của riêng mình.

#android Source

Kilo Blog19 Hot5 min19 d agoAI

Kilo Code Goes Native on JetBrains

JetBrains đã tái xây dựng Kilo Code bằng Kotlin, tích hợp trợ lý AI coding cấp cao đầu tiên vào toàn bộ hệ sinh thái IDE của mình như IntelliJ, WebStorm và PyCharm.

Những lập trình viên sử dụng các IDE JetBrains sẽ tìm hiểu cách Kotlin tích hợp AI vào công cụ làm việc hàng ngày, giúp tối ưu hóa hiệu suất và giảm thời gian phát triển với các tính năng mới.

#kotlin #ai-assisted-development #jetbrains Source

Medium1 Hot12 min5 d agoAI

Build a Fully Local Voice Assistant With Whisper and Ollama

Xây dựng trợ lý giọng nói hoàn toàn cục bộ bằng Whisper (để nhận dạng giọng nói) và Ollama (để xử lý ngôn ngữ) thay vì phụ thuộc vào máy chủ của bên thứ ba.

Nếu bạn muốn tự tạo một hệ thống trợ lý giọng nói hoàn toàn tự chủ, không phụ thuộc vào các nền tảng trung gian và bảo vệ dữ liệu nói chuyện của riêng mình, bài này sẽ hướng dẫn cách xây dựng một giải pháp hiệu quả với Ollama và Whisper.

#python #local-ai #ollama Source

From Cloud LLM to On-Device Whisper: Turning Speech into Structured Actions on Android

Recommended for you

I ditched Ollama for Docker, and my local LLM setup finally stopped being a hassle

A used Tesla V100 has quietly become the cheapest way to run local LLMs at home

KotlinLLM is Going Open Source

How I Boosted a Local SQL Agent’s Accuracy from 13% to 72% in Production

Google earthquake alerts warned 11.4M in Venezuela

4 apps I always remove from every new Pixel phone before I install anything else

Kilo Code Goes Native on JetBrains

Build a Fully Local Voice Assistant With Whisper and Ollama

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads