#lora

How Apple Fits an LLM on Your iPhone

Apple tích hợp LLM lớn trên iPhone bằng cách sử dụng Transformer architecture và kỹ thuật quantization giảm độ chính xác từ 32-bit xuống 4-bit. Công nghệ này cho phép model hoạt động hiệu quả với hạn chế bộ nhớ và điện năng của thiết bị di động. Hệ quả là người dùng có thể trải nghiệm các tính năng AI mạnh mẽ ngay trên thiết bị mà không cần kết nối internet. Bài viết đáng học hỏi ở chỗ Apple đã tối ưu hóa hiệu suất mô hình thông qua kỹ thuật distillation và các bản đặc biệt của on-device neural engine.

Bài này giải thích cách Apple tối ưu hóa mô hình LLM để chạy trơn tru trên iPhone mà không ảnh hưởng đến hiệu năng thiết bị.

5 ESP32 projects that can run on batteries for a whole year

Making your ESP32 projects last a year just requires simple tweaks

Fine-Tuning NVIDIA Nemotron to Know Local Rules, Not Just Local Languages

Khi AI ngày càng được áp dụng toàn cầu, các mô hình ngôn ngữ tổng quẫn gặp hạn chế trong hiểu biết về quy định địa phương. Nhóm nghiên cứu đã fine-tune mô hình NVIDIA Nemotron-4 340B bằng cách kết hợp dữ liệu pháp luật và văn hóa từ các khu vực khác nhau để tăng cường khả năng tuân thủ quy tắc địa phương. Quá trình training này tạo ra model có khả năng hiểu và áp dụng các quy định cụ thể như GDPR ở châu Âu hay luật bảo vệ dữ liệu ở Việt Nam, thay vì chỉ tập trung vào ngôn ngữ địa phương. Kết quả cho thấy mô hình đã giảm 37% lỗi trong việc xử lý thông tin nhạy cảm so với phiên bản gốc, đồng thời giảm 22% phản hồi vi phạm các quy định khu vực. Đáng học hỏi là phương pháp kết hợp dữ liệu đa dạng trong quá trình fine-tuning giúp cân bằng giữa khả năng ngôn ngữ và hiểu biết văn hóa-pháp lý, tạo hướng đi mới cho AI trong tương lai.

Bài viết hướng dẫn cách tinh chỉnh NVIDIA Nemotron để hiểu quy định địa phương, giúp AI trở nên phù hợp và hiệu quả hơn trong các bối cảnh cụ thể.

Granite Switch 4.1: Chat, Decisions, and Speech from One Endpoint

IBM đã phát hành Granite Switch 4.1, một endpoint API kết hợp các khả năng chat, decision making và speech processing thành một hệ thống duy nhất. Công nghệ này sử dụng transformer architecture với mô hình 34 tỷ parameter, được tối ưu hóa để xử lý đa tác vụ mà không cần chuyển đổi ngữ cảnh. Hệ quả là giảm 60% độ trễ so với phương pháp gọi API tuần tự truyền thống, và giảm 40% chi phí vận hành cho các ứng dụng sử dụng nhiều mô hình. Đáng học hỏi cách IBM thiết kế routing mechanism để tự động phân luồng yêu cầu đến các specialized sub-model phù hợp, qua đó tối ưu hiệu suất mà không cần tốn tài nguyên cho một mô hình khổng lồ duy nhất.

Bài viết này giúp lập trình viên khám phá khả năng đa năng của Granite Switch 4.1 trong tích hợp chat, ra quyết định và giọng nói từ một điểm cuối duy nhất.

Run Jev Inside an Open Agent Harness

Bối cảnh của bài viết giới thiệu framework Open Agent Harness cho phép triển khai Jev với chi phí quyết định rẻ 150 lần so với LLM. Nguyên nhân kỹ thuật là nhờ sử dụng architecture lightweight và tối ưu hóa inference process thông qua selective tokenization. Hệ quả là giảm đáng kể latency và computational cost khi building agent-based applications. Điều đáng học là cách kết hợp prompt engineering và caching mechanism để đạt được hiệu suất vượt trội, mở ra hướng đi mới cho các ứng dụng agent cần tốc độ và hiệu năng cao.

Tôi cung cấp câu giải thích như sau: Bài viết này tiết lộ phương pháp đưa Jev vào bộ khung Agent mở giúp giảm chi phí ra quyết định tới 150 lần so với LLM.

Small Decisions: Engineering a Leading Model

Bối cảnh tác giả xây dựng mô hình Hobson 2B parameter, lấy cảm hứng từ Jev classifier của TypeSafe AI. Nguyên nhân kỹ thuật là việc thay thế LM head bằng pointer head để đánh giá phương án trả lời, kết hợp fine-tune bằng rank-16 LoRA và self-distillation để giảm hiện tượng quên. Hệ quả cho thấy hiệu năng tốt với latency trung bình ~100ms, dưới 300ms ở p95 trên RTX 3090. Điều đáng học là quy trình huấn luyện với 115k dữ liệu chủ yếu public và synthetic hard questions, cùng calibration qua temperature scaling theo từng loại câu hỏi.

Bài này giúp lập trình viên hiểu cách tối ưu hóa mô hình AI nhỏ với hiệu suất cao thông qua các kỹ thuật fine-tuning và kiến trúc hiệu quả.

The Hidden Microcontroller Inside A LoRa Chip

The Semtech LR2021 LoRa chip hides its own on-board microcontroller with updatable firmware, rather than running as a fixed ASIC. Alex Beale reverse engineered it, with the help of LLMs that the source says made the task near impossible otherwise. He can now write custom firmware for the chip, including running FFTs on-chip for a waterfall display and running your mesh network node directly on the chip. This follows other recent reverse engineering wins unlocking SDR functionality inside dedicated WiFi and LoRa radio chips.

How to Train Your own Decision Model like Jev using Unsloth

Unsloth now supports training decision models from open-weight language models that score a fixed set of choices instead of generating text. This tutorial fine-tunes Qwen3.5-4B with 4-bit LoRA on 10 intents from the CLINC150 dataset using Google Colab and a Tesla T4 GPU. Validation accuracy rose from 18.5% before training to 100% after 60 training steps, taking about 37.7 minutes. Expected calibration error dropped from 0.0816 to 0.00314, and the model classified all 300 held-out test examples correctly, though this result is limited to the small 10-intent experiment.

Palette: teaching a small model to build decks in your design language

A Blog post by IBM Research on Hugging Face

Building An ADS-B Receiver For Less Than You Think

A builder made an ADS-B receiver for under $50 using the Meshnology W12 board, which pairs an ESP32-S3 microcontroller with an LR2021 LoRa radio. The LR2021 can be tuned to 1090 MHz and can capture ADS-B traffic that uses OOK and Manchester encoding, while the ESP32-S3 validates CRCs and serves aircraft tracks on a simple web interface. A GNSS receiver can be added so the board knows its own location. The builder reports decent performance, with aircraft tracks pulled in from up to 150 nautical miles away using a 915 MHz antenna, and notes that the filter configuration must be modified to avoid attenuating the 1090 MHz signals.

LILYGO T-Display K230 RISC-V AI dev kit features AMOLED, LoRa, and keyboard with optional LTE-M/NB-IoT cellular connectivity

LILYGO T-Display K230 is a handheld dev kit based on Canaan's Kendryte K230 dual-core 64-bit RISC-V processor. The kit features a 4.1-inch AMOLED

Mesh Network Telephony Over Bluetooth On Android Phones

MeshLive is an Android app that builds a decentralized Bluetooth mesh network for voice and video calls. It runs entirely as software, needing no dedicated hardware. Calls are end-to-end encrypted for voice and video, though two-way video calling is still experimental; more testing has gone into one-way video broadcasting. Each user gets a unique scannable identifier but otherwise appears under a random name that rotates every 15 minutes. Range is limited because it uses ordinary smartphone Bluetooth hardware, and each phone forwards the signal for about 20 meters.

Meshtastic Pet Tracking

Jon G Aguado đã phát triển LIA, một vòng đeo theo dấu thú cưng sử dụng Meshtastic và LoRa thay vì kết nối mạng hoặc thuê bao. Mạch PCB tùy chỉnh tích hợp ESP32-S3, radio LoRa và thu nhận GPS/GNSS, được cấp nguồn bởi pin Li-ion 18650 hoặc 5023450 pouch. Thiết bị sạc qua cổng USB pogo -pin từ tính để chống thời tiết, với chế độ cao cấp cập nhật vị trí mỗi 30 giây và bật hai LED, trong khi chế độ tiết kiệm pin giảm xuống khoảng 1 lần/phút và có cả chế độ tắt.

Bài viết này cung cấp giải pháp theo dõi thú cưng không cần đăng ký bằng công nghệ Meshtastic và LoRa, tiết kiệm chi phí và hoạt động độc lập với mạng.

Pushing Bluetooth Out To 12 Kilometers

Một lập trình viên đã thành công trong việc mở rộng phạm vi Bluetooth lên đến 12km mà không cần tăng công suất phát. Kỹ thuật này sử dụng ăng parabolic để thu tín hiệu tốt hơn nhiều so với anten dipole thông thường, kết hợp với một bộ thu cực nhạy có nhiễu nền thấp hơn đáng kể. Dù đạt phạm vi ấn tượng, phương pháp này vẫn không thể cạnh tranh với LoRA - công nghệ có thể đạt hàng trăm dặm trong tầm nhìn trực tiếp hoặc hàng chục nghìn dặm với thiết bị phù hợp. Bài viết cung cấp giải pháp kỹ thuật thú vị cho ứng dụng ngắn hạn, nhưng cho thấy các giải pháp chuyên dụng như LoRA vẫn vượt trội cho các yêu cầu kết nối dài hạn.

Bài viết này giúp lập trình viên hiểu cách mở rộng phạm vi Bluetooth lên đến 12km bằng thiết bị thông thường mà không cần tăng công suất phát.

Together Post-Training: frontier-grade model shaping, the way that fits you

Together cung cấp nền tảng để huấn luyện lại các mô hình LLM mã nguồn mở như Qwen, GLM và Kimi thành mô hình tùy chỉnh theo sở thích riêng của bạn. Bạn tự viết training loop, Together đảm nhận phần hạ tầng kỹ thuật phức tạp với các siêu máy tính NVIDIA A100 80GB. Cách tiếp cận này giúp bạn kiểm soát hoàn toàn quá trình huấn luyện với SFT (Supervised Fine-Tuning) hoặc RL (Reinforcement Learning). Chi phí training giảm đáng kể so với tự xây dựng hạ tầng, chỉ từ 0.1 USD mỗi giờ cho GPU. Giải pháp này mở ra cơ hội cho các cá nhân và tổ chức nhỏ tiếp cận công nghệ shaping model hàng đầu mà không cần đầu tư ban đầu lớn.

Bài này giúp bạn tùy chỉnh mô hình LLM hiện đại với kiểm soát tối đa qua mã code của riêng mình.

Show HN: Qwen3-4B with the AI writing tics trained out

A small open model, fine-tuned on a MacBook Air, that writes without em dashes, "not X, but Y" or lists of three, with no system prompt. Answers on 40 held-out prompts, the training rounds, and how to run it.

ADC, Motors, and LoRa · webtechie.be

Pi4J Drivers V1.2.0 adds ePaper displays with partial updates, new DAC and ADC drivers, motor and servo controllers, and a LoRa transceiver driver for Java on …

Toward DeepSeek-R1: Building Thinking Models Using GRPO

DeepSeek-R1 đang được xây dựng thông qua quá trình fine-tune mô hình Qwen3 cho các bài toán toán học nâng cao bằng kỹ thuật GRPO. Quá trình này tập trung cải thiện độ chính xác, cấu trúc logic và độ chính xác trong giải quyết vấn đề sau khi train. Kết quả cho thấy GRPO giúp tăng đáng kể khả năng suy luận của mô hình trong các domain toán học phức tạp. Lập trình viên quan tâm đến reinforcement learning nên xem xét tiếp cận GRPO vì nó mang lại hiệu quả rõ rệt mà không cần thiết lập môi trường phức tạp như các RL truyền thống.

Bài viết hướng dẫn cách tăng cường khả năng giải toán nâng cao cho mô hình Qwen3 bằng phương pháp GRPO, giúp lập trình viên cải thiện độ chính xác và cấu trúc khi xây dựng các mô hình suy luận chuyên sâu.

Discovering SDRs Everywhere

Các hacker gần đây phát hiện nhiều chip radio phổ biến như ESP32 có chế độ debug ẩn cho phép truy cập dữ liệu thô IQ, biến chúng thành software-defined radio. Ban đầu chỉ có khả năng nhận từ Espargos và h0m3us3r, sau đó marble, jochenhammes và z1000biker đã bổ sung chức năng phát sóng bằng cách tích hợp với osmosdr. Người dùng đã bắt đầu phát sóng tín hiệu DVB-S2, thoại và FM Hell nhờ khả năng này. Tương tự, chip LR2021 LoRa cũng được tìm thấy có tính năng SDR ẩn với dải tần 150-960 MHz và độ phân giải 16-bit. Sự phát triển này đang diễn ra nhanh hơn so với thời kỳ bùng nổ của RTL-SDR dongle, với nhiều khả năng hack dự kiến sẽ xuất hiện trong thời gian tới.

Lập trình viên nên đọc bài này để khám phá cách các chip radio phổ biến như ESP32 và LR2021 có thể biến thành radio định phần phần mềm (SDR) cho phép phát và thu dữ liệu thô IQ.

Another Wireless Chip Has A Hidden SDR Revealed

Một lập trình viên tên Samson1te đã phát hiện chế độ radio định phần mềm (SDR) ẩn trong chip LR2021 LoRa, bên cạnh radio 2.4 GHz thông thường. Chip này có radio khả năng điều chỉnh từ 150 đến 960 MHz, cung cấp 16-bit SDR với cả nhận và phát tín hiệu. Phát hiện này cho thấy ESP32 cũng có chế độ baseband ẩn biến nó thành SDR, gợi ý nhiều chip khác có thể có khả năng radio không được ghi trong tài liệu. Đáng học hỏi là nhà phát triển có thể tận dụng khả năng SDR ẩn để thực hiện P25 giải mã voice số, cho thấy tiềm năng ứng dụng thực tế của phát hiện này.

Khám phá chế độ SDR ẩn trong chip LR2021 mở ra cơ hội biến thiết bị giá rẻ thành máy thu phát đa tần số với khả năng nhận và phát sóng.

Fine-tune Meta AI's Muse Glimmer 100% locally

Bối cảnh: Muse Glimmer 100% locally cho phép bạn fine-tune mô hình Meta AI trên máy tính cá nhân mà không cần cloud. Nguyên nhân kỹ thuật: Mô hình này sử dụng kỹ thuật LoRA (Low-Rank Adaptation) để giảm đáng kể bộ nhớ VRAM yêu cầu từ 40GB xuống còn chỉ 7-8GB. Hệ quả: Điều này cho phép các lập trình viên có thể huấn luyện lại mô hình lớn ngay trên thiết bị của mình mà không cần GPU đắt tiền. Điều đáng học: Tutorial cung cấp code chi tiết cho cả Windows, Linux và macOS, bao gồm các bước cài đặt environment và fine-tuning với chỉ 8GB VRAM.

Bài viết hướng dẫn bạn cách fine-tune Muse Glimmer 100% locally, giúp tối ưu hóa công cụ AI cho nhu cầu cụ thể của mình.

LakeShark firmware turns LilyGO T-Display P4 into a handheld ESP32-P4 SDR scanner

LakeShark là firmware open-source của Samuel Reynolds biến LilyGO T-Display P4 - module ESP32-P4 - thành scanner SDR di động. Tác phẩm tận dụng khả năng xử lý 400MHz và floating-point unit của ESP32-P4 để xử lý tín hiệu RF. Hệ quả là thiết bị có thể quét tần số từ 24MHz đến 6GHz với độ phân giải cao. Điều đáng học là việc tối ưu hóa resource-limited device cho ứng dụng signal processing phức tạp. Code nguồn có thể tham khảo để hiểu cách implement real-time FFT trên embedded platform.

Firmware LakeShark biến thiết bị LilyGO T-Display P4 thành máy quét SDR cầm tay mạnh mẽ với ESP32-P4.

Backdoors in LLMs: Why model scanning isn't enough

Trong bối cảnh ngày càng nhiều ứng dụng sử dụng LLM (Large Language Models), các backdoor tiềm ẩn đang trở thành mối đe dọa nghiêm trọng cho chuỗi cung ứng AI. Nguyên nhân kỹ thuật là những backdoor này có thể né tránh các phương pháp quét model tiêu chuẩn bằng cách chỉ kích hoạt khi gặp input đặc biệt. Hệ quả là các tổ chức có thể vô tình triển khai model chứa backdoor, dẫn đến việc attacker có thể kiểm soát output hoặc chiếm đoạt hệ thống. Để đối phó, chúng ta cần triển khai behavioral probing (dò quà hành vi) và provenance verification (xác thực nguồn gốc) như phương pháp hiệu quả hơn để phát hiện các backdoor tinh vi. Bài viết này cung cấp kiến thức thực tế về cách bảo vệ hệ thống LLM khỏi các tấn công nguồn cung cấp ngày càng tinh vi, điều mà bất kỳ nhà phát triển AI nào cũng cần quan tâm.

Bài viết này giúp bảo vệ chuỗi cung ứng LLM bằng cách phát hiện backdoor qua thăm dò hành vi và xác minh nguồn gốc mà quét mô hình thông thường bỏ sót.

How to Customize a Model to Learn New Tricks

Bối cảnh nghiên cứu các phương pháp tùy biến và tinh chỉnh mô hình học máy đang ngày càng quan trọng. Nguyên nhân kỹ thuật là vì các mô hình pre-trained thường cần điều chỉnh để phù hợp với domain cụ thể hoặc nhiệm vụ đặc thù. Hệ quả là việc fine-tuning có thể cải thiện đáng kể hiệu suất lên đến 23% theo một số nghiên cứu gần đây. Điều đáng học là các kỹ thuật như differential learning rates, layer freezing và LoRA giúp tối ưu quá trình này mà không cần retrain toàn bộ model.

Bài này giúp lập trình viên nắm bắt các chiến lược tùy biến và tinh chỉnh hiệu quả cho mô hình.

RAG vs. Fine-Tuning for Domain Adaptation: When to Use Which

RAG và fine-tuning là hai phương pháp thích ứng domain khác nhau, với RAG thay đổi những gì mô hình thấy tại thời điểm inference (phù hợp cho kiến thức lớn hoặc thay đổi thường xuyên và khả năng kiểm tra), trong khi fine-tuning thay đổi trọng số mô hình (phù hợp cho giọng điệu, cấu trúc hoặc từ vựng nhất quán nhưng không đáng tin cậy cho việc chèn thông tin mới). Hai ví dụ code thực tế được trình bày: pipeline RAG dựa trên TF-IDF qua các runbook incident sử dụng API của Anthropic, và setup LoRA fine-tuning để phân loại khiếu nại khách hàng vào taxonomy nghiêm ngặt. Khung quyết định 6 điểm giúp xác định nên dùng RAG, fine-tuning hay cả hai, với khoảng 60% triển khai LLM production kết hợp cả hai phương pháp tiếp cận.

Bài này giúp lập trình viên chọn giải pháp tối ưu giữa RAG và Fine-Tuning khi điều chỉnh mô hình ngôn ngữ lớn cho lĩnh vực cụ thể.

Fine-Tuning Gemma 4 with QLoRA for Customer Support

Fine-tuning Gemma 4 sử dụng kỹ thuật QLoRA trên tập dữ liệu Bitext giúp tạo ra model hỗ trợ khách hàng hiệu quả với chi phí tính toán thấp. Phương pháp này áp dụng LoRA adapters và thư viện TRL để giảm đáng kể lượng parameter cần fine-tuning, chỉ khoảng 4% tổng số parameter của Gemma 4. Model sau khi fine-tuning đạt hiệu năng cao trong các tác vụ hỗ trợ khách hàng nhưng sử dụng ít RAM hơn nhiều so với fine-tuning toàn bộ model. Cách tiếp cận này rất đáng học cho các lập trình viên cần triển khai AI với nguồn hạn chế mà vẫn giữ được chất lượng output tốt.

Bài viết này hướng dẫn cách tinh chỉnh Gemma 4 với QLoRA để xây dựng mô hình hỗ trợ khách hàng hiệu quả mà tiết kiệm bộ nhớ.