Edge AI is shifting inference from the cloud to embedded devices, increasing power constraints as models grow more capable and compute-hungry.
Nguồn: https://www.embedded.com/solving-the-edge-computing-energy-problem. 8 Sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Đọc tin ở đây, luyện code, học theo lộ trình và luyện IELTS trên các sản phẩm anh em — tất cả kết nối với nhau trong hệ sinh thái 8 Sync.
Cổng chính của hệ sinh thái: giới thiệu sản phẩm, blog và bảng giá trọn bộ.
Khám pháHọc theo lộ trình rõ từng chặng: video, quiz chấm tự động, certificate và mentor đang làm nghề.
Xem lộ trình1.000 bài DSA, đề tiếng Việt, chấm tự động 7 ngôn ngữ — nhiều bài FREE, chạy ngay trên trình duyệt.
Luyện miễn phíChấm bốn kỹ năng IELTS bằng AI, phản hồi chi tiết theo rubric.
Dùng thử miễn phíAI IDE 22 MB cho dev Việt.
Tải miễn phíBộ nhớ tổ chức cho AI agent.
Khám pháAI trực Fanpage, tự sàng lọc lead.
Dùng thửNVIDIA vừa ra mắt Nemotron 3.5 Super VL, mô hình multimodal 120 tỷ tham số cho tác vụ agentic doanh nghiệp, đạt độ chính xác tương đương các mô hình lớn nhất của NVIDIA nhưng kích thước chỉ bằng 1/5 và tốc độ hoàn thành tác vụ nhanh 5 lần. Song đó, hai mô hình edge mới là Bolt 74B-A9B 24GB dành cho workload agentic local trên RTX/DGX Spark, và Bolt E4B 4GB cho agent hội thoại trên GeForce RTX và Jetson. Các mô hình này hỗ trợ post-training qua NVIDIA NeMo và đang được tùy chỉnh bởi tổ chức như Scale AI, CrowdStrike, Atlassian, Perplexity, và Salesforce cho nhiều lĩnh vực từ tài chính, an ninh mạng đến quy trình chính phủ. Open weights, training recipes và datasets có sẵn trên Hugging Face, với hỗ trợ triển khai qua llama.cpp, Ollama, LM Studio, và vLLM.
Lập trình viên nên đọc bài này để cập nhật các mô hình Nemotron mới nhất của NVIDIA với hiệu suất vượt trội và khả năng triển khai linh hoạt từ trung tâm dữ liệu đến thiết bị biên.
Tác giả chuyển đổi các model local từ Ollama sang llama.cpp không phải vì tốc độ xử lý. Lý do chính là sự tiện lợi trong việc quản lý và khởi động model với llama.cpp sử dụng file cấu hình đơn giản. Ollama mặc dù cung cấp API thân thiện nhưng lại gặp vấn đề với việc quản lý phiên làm việc và chiếm dụng bộ nhớ cao hơn. Đáng học hỏi là việc lựa chọn công nghệ nên dựa trên trải nghiệm người dùng và khả năng tích hợp thực tế thay vì chỉ tập trung vào hiệu suất đơn thuần.
Bài viết này cho thấy rằng khi di chuyển mô hình từ Ollama sang llama.cpp, sự tiện lợi quan trọng hơn tốc độ tạo token.
HPMicro vừa giới thiệu dòng HPM5100 RISC-V MCU 32-bit với tốc độ 400 MHz, bắt đầu bằng các bộ phận HPM5151. Dòng chip tích hợp bốn ADC 16-bit và bốn operational amplifier để hỗ trợ analog sensing và điều khiển động cơ. Thiết kế này giúp giảm số lượng linh kiện ngoại vi cần thiết, tối ưu hóa không gian bo mạch. Việc tích hợp sẵn analog peripherals giúp giảm độ trễ tín hiệu và cải thiện độ chính xác cho các ứng dụng điều khiển motor. Lập trình viên làm việc với IoT hoặc embedded system nên cân nhắc dòng chip này cho các dự án yêu cầu xử lý analog phức tạp mà không muốn sử dụng nhiều chip riêng lẻ.
HPMicro HPM5100 RISC-V MCU tích hợp bốn ADC 16-bit và bốn op-amp giúp ích cho cảm biến analog và điều khiển động cơ.
Các AI agents đang bắt đầu xâm nhập vào môi trường văn phòng phòng với sự quan tâm lớn từ Big Tech muốn tích hợp chúng vào tất cả các ứng dụng làm việc. Các công nghệ như AutoGen, LangChain và Microsoft Copilot đang dẫn đầu xu hướng này bằng cách tự động hóa các tác vụ văn phòng phức tạp. Việc tích hợp AI agents vào các ứng dụng làm việc như Microsoft 365 và Google Workspace có thể giúp tăng năng suất lao động lên đến 40% theo các nghiên cứu mới đây. Điều đáng học hỏi là cách các công nghệ agent-based đang thay đổi cách chúng ta tương tác với các ứng dụng truyền thống, và lập trình viên nên theo dõi xu hướng này để không bỏ lỡ cơ hội phát triển các giải pháp sáng tạo trong tương lai.
Bài viết cập nhật xu hướng AI Agents đang tích hợp vào các ứng dụng làm việc, giúp lập trình viên nắm bắt hướng phát triển mới của công nghệ.
VIEWE đã ra mắt board phát triển màn hình PLCM-UES31S043H800V480C-U với kích thước 4.3 inch, có lẽ là board phát triển thứ ba đầu tiên được tích hợp chip ESP32-S31. Module này được thiết kế cho các ứng dụng IoT cần giao diện người dùng, hỗ độ phân giải 800x480 pixel. Điểm đáng chú ý là board này kết hợp được cả tính năng Wi-Fi và Bluetooth low energy, phù hợp cho các thiết bị IoT cần kết nối. Với giá thành chỉ 14.99 USD, đây là lựa chọn hấp dẫn cho các dự án cần giao diện đồ họa nhẹ nhưng vẫn đủ các tính năng hiện đại.
Bài giới thiệu module ESP32-S31 này giúp bạn có thêm lựa chọn phát triển board hiển thị 4.3 inch đa năng với hiệu năng mạnh mẽ.
Tác giả đã thử nghiệm Gemma 4 với toàn bộ thư viện Steam 384 game để đánh giá khả năng đề xuất game. Sử dụng RAG (Retrieval-Augmented Generation) để mô tả sở thích người chơi và phân tích game, Gemma 4 cho kết quả chính xác hơn Steam Discovery. Tác giả đã áp dụng prompt engineering để Gemma 4 hiểu sâu sở thích cá nhân, dẫn đến tỉ lệ recommendation đạt 85% so với 72% của Steam. Bài viết cung cấp phương pháp triển khai RAG cho LLM và kỹ thuật prompt engineering hữu ích cho các dự án AI recommendation.
Một lập trình viên nên đọc bài này để khám phá cách mô hình ngôn ngữ lớn có thể cá nhân hóa trải nghiệm giải trí tốt hơn cả nền tảng chuyên dụng Steam.
Năm 1997, sứ mệnh Mars Pathfinder gặp sự cố reset hệ thống do priority inversion: tác vụ thời tiết ưu tiên thấp giữ mutex cần thiết cho tác vụ phân phối dữ liệu ưu tiên cao, nhưng không thể hoàn thành do các tác vụ bảo trì bus ưu tiên trung gian liên tục chiếm ưu tiên. Các kỹ sư đã phát hiện lỗi này trong quá trình thử nghiệm nhưng đã bỏ qua. Hậu quả là hệ thống bị reset liên ảnh hưởng đến nhiệm vụ. Giải pháp là kích hoạt priority inheritance trong VxWorks cho mutex, cho phép tác vụ ưu tiên thấp tạm thời kế thừa mức ưu tiên cao hơn để mở khóa nhanh hơn.
Bài viết này giúp lập trình viên hiểu về hiện tượng priority inversion và cách khắc phục nó trong hệ thống thực tế với VxWorks.
Bối cảnh: Các mô hình Mixture of Experts (MoE) đã thay đổi hoàn toàn khái niệm "mô hình nào có thể chạy được trên GPU của tôi" khi một chiếc GPU 10 năm tuổi nay có thể xử lý được các mô hình ngôn ngữ lớn (LLM) lên tới 26 tỷ tham số. Nguyên nhân kỹ thuật: MoE hoạt động bằng cách chỉ kích hoạt một phần các chuyên gia (experts) trong mô hình cho mỗi token đầu vào, giảm đáng kể lượng tính toán cần thiết so với các mô hình dense truyền thống. Hệ quả: Phần lớn tư vấn phần cứng hiện tại vẫn chưa cập nhật thực tế này, dẫn đến khuyến nghị không cần thiết nâng cấp phần cứng. Điều đáng học: Người dùng có thể tận dụng hiệu quả phần cứng hiện có để chạy các mô hình lớn hơn nhiều so với khả năng lý thuyết, miễn là các mô hình hỗ trợ kiến trúc MoE.
MoE models đã thay đổi hoàn toàn cách bạn có thể chạy các mô hình ngôn ngữ lớn ngay cả trên phần cứng cũ như GPU 10 năm tuổi.
Đang tải bình luận…