Bringing ExecuTorch to Arm Cortex-M CPUs

PyTorch's ExecuTorch now ships a Cortex-M backend that runs quantized PyTorch models directly on Arm Cortex-M CPUs via CMSIS-NN acceleration, removing the need to convert models into other embedded frameworks. It covers all Cortex-M capability tiers (Scalar, DSP, MVE/Helium) from one workflow, can run alongside Ethos-U NPU delegation for heterogeneous SoCs, and keeps the core runtime under 20 KiB of flash. Benchmarks on four MLPerf Tiny models running on an Alif Ensemble E8 (Cortex-M55) show inference times of 21.5 ms or less and under 90 KiB RAM. A real-time µYOLO person-detection demo on a Renesas EK-RA8D1 (Cortex-M85) achieves 24 ms latency and 12.7 FPS after DTCM placement and instruction cache optimizations, down from 191 ms. Future work includes mixed-precision support, floating-point MVE kernels, broader operator coverage (attention, layer norm, FFT), and more end-to-end examples.

Source: https://pytorch.org/blog/bringing-executorch-to-arm-cortex-m-cpus. 8 Sync News only summarizes and links out; content copyright belongs to the authors and original sources.

Recommended for you

freeCodeCamp132 Hot2 min8 d agoAI

Build and Train a 25M Parameter LLM From Scratch on Your CPU

Bối cảnh: Bạn không cần cụm GPU khổng lồ để học cách AI hiện đại hoạt động. Nội dung video hướng dẫn xây dựng, pre-train và fine-tune một mô hình LLM 25 triệu parameter chỉ trên CPU. Nguyên nhân kỹ thuật: Video trình bày quy trình chi tiết từ đầu đến cuối với các công cụ như PyTorch, tạo tập dataset từ văn bản thuần túy. Hệ quả: Người xem sẽ có được kiến thức thực tế về cách LLM hoạt động mà không cần tài nguyên đắt đỏ. Điều đáng học: Dù quy mô nhỏ hơn các frontier model như GPT-4 hay Llama 2, quy trình này giúp hiểu nền tảng của deep learning trong NLP.

Bài hướng dẫn này giúp bạn xây dựng và huấn luyện một mô hình ngôn ngữ quy mô 25 triệu tham số ngay trên CPU mà không cần cluster GPU đắt đỏ.

#machine-learning#python#llmSource

ByteByteGo54 Hot17 min8 d agoAI

How Netflix Taught an LLM to Recommend Movies So That You Keep Watching

Netflix đã phát triển hệ thống GenRec để tăng thời gian xem phim của người dùng. Họ huấn luyện Large Language Model (LLM) trên dữ liệu tương tác người dùng với nội dung, sử dụng phương pháp transfer learning từ các mô hình ngôn ngữ lớn. Kết quả là hệ thống có khả năng đề xuất phim cá nhân hóa với độ chính xác cao hơn 23% so với phương pháp traditional collaborative filtering. Điều này cho thấy tiềm năng ứng dụng LLM trong lĩnh vực recommendation systems không chỉ giải trí mà còn có thể mở rộng sang các dịch vụ streaming khác.

Bài viết này giải thích cách Netflix xây dựng hệ thống đề xuất phim GenRec để giữ chân người xem qua công nghệ LLM tiên tiến.

#machine-learning#llm#netflixSource

CNX Software1 Hot5 min1 d agoAI

HPMicro HPM5100 RISC-V MCU integrates four 16-bit ADCs, four op-amps for analog sensing and motor control

HPMicro vừa giới thiệu dòng HPM5100 RISC-V MCU 32-bit với tốc độ 400 MHz, bắt đầu bằng các bộ phận HPM5151. Dòng chip tích hợp bốn ADC 16-bit và bốn operational amplifier để hỗ trợ analog sensing và điều khiển động cơ. Thiết kế này giúp giảm số lượng linh kiện ngoại vi cần thiết, tối ưu hóa không gian bo mạch. Việc tích hợp sẵn analog peripherals giúp giảm độ trễ tín hiệu và cải thiện độ chính xác cho các ứng dụng điều khiển motor. Lập trình viên làm việc với IoT hoặc embedded system nên cân nhắc dòng chip này cho các dự án yêu cầu xử lý analog phức tạp mà không muốn sử dụng nhiều chip riêng lẻ.

HPMicro HPM5100 RISC-V MCU tích hợp bốn ADC 16-bit và bốn op-amp giúp ích cho cảm biến analog và điều khiển động cơ.

#embeddedSource

MotherDuck21 Hot17 min9 d agoAI

5 Jev use cases for analytics, with real queries and datasets

Bài viết trình bày 5 use case thực tế của prompt_jev() trên dữ liệu thật với SQL có thể chạy lại, bao gồm phân tích traces của AI agent, cảm xúc từ Hacker News, các cuộc gọi bán hàng, tin tuyển dụng cloud và regex replacement. Mỗi use case được minh họa bằng truy vấn SQL cụ thể và tập dữ liệu tương ứng. Các ví dụ này chứng minh cách prompt_jev() có thể tự động hóa phân tích dữ liệu văn bản phức tạp bằng SQL thông thường. Đây là tài liệu tham khảo hữu ích cho bất kỳ lập trình viên nào muốn tích hợp AI vào xử lý dữ liệu mà không cần thay đổi stack công nghệ hiện tại.

Bài viết cung cấp 5 trường hợp thực tế sử dụng prompt_jev() với dữ liệu có sẵn và truy vấn SQL có thể thực thi lại ngay lập tức.

#machine-learning#llm#sqlSource

MIT News1 Hot7 min1 d agoAI

Researchers improve weather forecasts looking two to six weeks out

Dự báo thời tiết truyền thống thường chỉ chính xác trong vòng 7-10 ngày, hạn chế khả năng hoạch định dài hạn. Các nhà nghiên cứu đã phát triển một mô hình machine-learning có khả năng học từ và sửa lỗi của các mô hình dự báo hiện có, nhằm cải thiện độ chính xác trong khung thời gian 2-6 tuần - khoảng thời gian quan trọng cho kế hoạch ứng phó khẩn cấp. Phương pháp này kết hợp dữ liệu từ hệ thống weather forecasting như ECMWF và CFSv2, sử dụng thuật toán neural network để nhận diện và điều chỉnh các sai số dự báo một cách hệ thống. Kết quả nghiên cứu cho thấy độ chính xác tăng lên đáng kể so với phương pháp dự báo cũ, mở ra triển vọng mới cho ngành khí tượng và quản lý rủi ro thiên tai.

Kỹ thuật mới này giúp cải thiện đáng kể dự báo thời tiết cho giai đoạn từ hai đến sáu tuần, rất quan trọng cho công tác phòng chống thiên tai.

#machine-learning#mitSource

Google Developers37 Hot1 min23 d agoAI

Colab is now part of your Google AI plan

Google vừa tích hợp Colab vào Google AI plan, mang lại lợi ích cao cấp cho người đăng ký. Các lập trình viên giờ đây có truy cập vào faster accelerators và Premium GPUs để tăng tốc độ xử lý. Đặc biệt, tính năng uninterrupted background execution cho phép chạy training kéo dài mà không bị gián đoạn. Đây là bước đi chiến lược giúp Google củng cố vị thế trong việc cung cấp công cụ AI cho nhà phát triển.

Bài viết giúp lập trình viên biết cách tận dụng Colab trong Google AI plan với các tính năng cao cấp để tăng tốc độ và hiệu quả công việc AI.

#machine-learning#data-science#gpuSource

CNX Software1 Hot3 min2 d agoAI

VIEWE launches 4.3-inch ESP32-S31 display development board

VIEWE đã ra mắt board phát triển màn hình PLCM-UES31S043H800V480C-U với kích thước 4.3 inch, có lẽ là board phát triển thứ ba đầu tiên được tích hợp chip ESP32-S31. Module này được thiết kế cho các ứng dụng IoT cần giao diện người dùng, hỗ độ phân giải 800x480 pixel. Điểm đáng chú ý là board này kết hợp được cả tính năng Wi-Fi và Bluetooth low energy, phù hợp cho các thiết bị IoT cần kết nối. Với giá thành chỉ 14.99 USD, đây là lựa chọn hấp dẫn cho các dự án cần giao diện đồ họa nhẹ nhưng vẫn đủ các tính năng hiện đại.

Bài giới thiệu module ESP32-S31 này giúp bạn có thêm lựa chọn phát triển board hiển thị 4.3 inch đa năng với hiệu năng mạnh mẽ.

#iot#embeddedSource

Machine Learning Mastery44 Hot10 min1 mo agoAI

A Gentle Introduction to Model Distillation

Model distillation phương pháp nén khả năng của mô hình teacher lớn vào một student nhỏ hơn, ban đầu qua training trên soft probability distributions và temperature scaling, nay cho LLMs chủ yếu qua synthetic data generation, feature matching hoặc logit matching. Mặc dù distillation đã trở thành tiêu chuẩn (ví dụ Llama 3.1 405B của Meta được cấp phép rõ ràng cho mục đích này), năm 2026 chứng kiến các tranh chấp lớn khi OpenAI cáo buộc DeepSeek, Anthicism cáo buộc Qwen (Alibaba) và báo cáo về việc truy cập tài khoản giả để khai thác Claude, cùng Google can thiệp các tấn công vào Gemini. Chưa có kiểm toán pháp y hay phán xét tòa án nào giải quyết được các cáo buộc này, và xung đột cơ bản giữa việc mô hình bị bộc lộ qua API và được bảo vệ khỏi sao chép vẫn chưa được giải quyết.

Bài này giúp lập trình viên hiểu rõ thực trạng pháp lý và kỹ thuật của mô hình model distillation trong bối tranh tranh bản quyền công nghệ AI.

#ai#machine-learning#llmSource