Silent speech with ultrasound — Aleph

A team trained a model to decode speech from ultrasound video of the tongue during silent articulation, achieving a 15.6% word error rate on open-vocabulary speech — approaching lip-reading benchmarks despite using only 50 hours of training data collected over one month. The system uses a ResNet-18 2+1d video encoder aligned to Whisper's embedding space, enabling the Whisper decoder to transcribe tongue movements into text. Notably, the model generalizes to new speakers without retraining. Data was collected using vocalized speech (to enable audio quality checks) with the assumption that tongue movements transfer to silent speech. The two main remaining hardware challenges are miniaturizing the ultrasound probe and replacing gel coupling with hydrogel for practical wearable use.

Nguồn: https://alephneuro.com/blog/silent-speech. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

Hugging Face45 Hot11 phút10 ngày trướcAI

Why Specialization Is Inevitable

AI chuyên biệt không phải là lựa chọn mà là xu hướng tất yếu do ba nguyên lý: định lý No Free Lunch (không thuật toán tổng quát nào vượt trội trên mọi bài toán), sinh học tiến hóa (chuyên gia cạnh tranh hiệu quả hơn đa năng dưới áp lực tài nguyên), và thị trường cạnh tranh (tập trung chiến lược ưu việt hơn phân tán). Các bằng chứng từ machine learning (negative transfer, mixture-of-experts, AlphaFold) và sự phân biệt giữa domain knowledge (thay thế bởi scaling) với domain specialization (không bị loại bỏ) càng củng cố kết luận: khi nguồn lực hữu hạn và áp lực chọn lọc, sự phù hợp luôn thắng thế so với sự đa dạng.

Lập trình viên nên đọc bài này để hiểu cách AI và hệ thống máy học tự động hóa và tối ưu hóa thành công thông qua chuyên môn hóa chứ không phải sự đa dạng rộng rãi.