Handwritten Character Recognition Using VGG16 and SVM: A Transfer Learning Approach

Medium2 Hot6 min1 d agoAI

What Actually Happens Inside the Transformer MLP Layer?

Trong các mô hình ngôn ngữ lớn, sự chú ý thường tập trung vào cơ chế self-attention, trong khi lớp MLP (feed-forward network) của mỗi block transformer nhận ít phân tích hơn. MLP gồm hai biến đổi tuyến tính với một hàm kích hoạt phi tuyến (thường là GELU), mở rộng chiều từ mô hình dimension d lên trung gian thường là 4d (ví dụ 768→3072 trong BERT-base hoặc 4096→12288 trong GPT-3) rồi giảm lại về d. Vì hoạt động trên mỗi token độc lập và chứa phần lớn tham số (khoảng 2/3 tổng) và FLOPs, lớp MLP quyết định sức mạnh biểu diễn và cũng là chokepoint chính của tốc độ suy luận. Hiểu rõ cách MLP hoạt động cho thấy các kỹ thuật như giảm rank, quantization activation hoặc thay thế bằng Mixture-of-Experts (MoE) có thể giảm đáng kể chi phí tính toán mà không suy giảm hiệu suất. Vì vậy, khi đánh giá hoặc tối ưu hóa transformer nên tập trung vào lớp này cũng như self-attention.

Bài này giải thích chi tiết cơ chế hoạt động của lớp MLP trong Transformer, thành phần thường bị bỏ quên nhưng quan trọng không kém cơ chế Self-Attention.

#machine-learning #llm #deep-learning Source

Flavio Copes35 Hot11 min13 d agoAI

A deep dive into Nurb

Nurb được thiết kế để biến một agent viết mã thành đối tác CAD thực tế, cho phép các nhà phát triển làm việc trực tiếp trong môi trường mô hình 3D. Nó sử dụng các thành phần Python để tạo và thao tác hình học, đồng thời dựa trên nhân OCCT để xây dựng các thể rắn chính xác. Trong quá trình làm việc, hệ thống thực hiện kiểm tra trực tiếp và đo lường để phát hiện sớm các lỗi hoặc sai lệch về kích thước. Kết quả cuối cùng được xuất ra định dạng 3MF, giúp duy nhất dữ liệu mô hình và dễ dàng chia sẻ với các công cụ CAD khác. Từ đây ta học được rằng sự kết hợp giữa ngôn ngữ scripting linh hoạt và nhân mô hình rắn mạnh mẽ, cùng với việc áp dụng tiêu chuẩn xuất bản mở, có thể tạo ra quy trình thiết kế tự động hóa và đáng tin cậy.

Bài này giúp lập trình viên hiểu cách Nurb biến một agent lập trình thành đối tác CAD hiệu quả.

#python #ai-agent Source

Hugging Face18 Hot8 min11 d agoAI

Quantization-Aware Healing: a compressed, 4-bit model that outperforms its full-precision original

Bài viết giới thiệu phương pháp Quantization‑Aware Healing (QAH) được phát triển bởi Multiverse Computing để nén mô hình ngôn ngữ lớn xuống 4‑bit mà không làm giảm hiệu suất. QAH kết hợp quantization‑aware training với một bước healing sau huấn luyện, trong đó một mạng phụ nhỏ được học để bù lại sai số lượng tử hóa gây ra. Kết quả cho thấy mô hình 4‑bit sau healing đạt được mức perplexity tương đương, và trong một số trường hợp thậm chí tốt hơn so với phiên bản full‑precision (32‑bit) ban đầu. Việc này đồng thời giảm kích thước bộ nhớ cần thiết xuống khoảng 1⁄8 (≈87,5%) và tăng tốc độ suy luận trên phần cứng hỗ trợ tính toán nguyên số. Điều đáng học là việc đầu tư vào quá trình healing có thể bù lại phần lớn tổn thất từ quantization, cho phép triển khai mô hình mạnh mẽ trên môi trường tài nguyên hạn chế mà không hy sinh chất lượng.

Bài viết này giúp lập trình viên hiểu cách tạo mô hình lượng hóa 4-bit hiệu suất hơn cả mô hình full-precision gốc.

#machine-learning #data-science #llm Source

Towards Dev56 Hot17 min27 d agoAI

Announcing Open Knowledge Compiler: a compiler for the Open Knowledge Format

Open Knowledge Compiler (OKC) là trình biên dịch mới chuyển đổi dữ liệu thô thành Open Knowledge Format (OKF), tạo ra một cơ sở tri thức sống, truy vấn được và đọc được bởi agent.

Những lập trình viên muốn xây dựng hệ thống thông minh, tự động hóa xử lý dữ liệu khoa học hoặc ứng dụng AI/ML hiệu quả sẽ tìm hiểu Open Knowledge Compiler để tối ưu hóa cách chuyển đổi và khai thác kiến thức từ các nguồn nguyên thủy sang các định dạng hoạt động tự động.

#python #ai-agents #mcp Source

Hackaday69 Hot1 min1 mo agoAI

DOOM Using Regular Expressions

Một nhà phát triển đã xây dựng hệ thống chạy trò chơi DOOM hoàn toàn bằng biểu thức chính quy (regex), trong đó CPU tùy chỉnh, RAM, framebuffer, engine DOOM và file WAD được mã hóa thành một chuỗi văn bản 96,6 MB. Một trình điều khiển bằng C áp dụng hơn 10.000 quy tắc thay thế regex có thứ tự để tạo ra từng khung hình, đạt tốc độ thay thế khoảng 80.000 lần mỗi giây, mang lại trải nghiệm chơi game ở mức chấp nhận được.

Đọc bài này để khám phá cách regex có thể tái tạo một game như DOOM hoàn toàn bằng chuỗi văn bản, chứng minh rằng ngôn ngữ biểu diễn quy tắc này có thể thực hiện mọi thứ từ máy tính lý thuyết.

#python Source

freeCodeCamp1 Hot25 min2 d agoAI

How Quantum Connectivity Shapes What Your Quantum Computer Can Actually Compute

Bối cảnh: Khi lập trình lượng tử, việc gọi một cổng hai qubit giữa hai bit bất kỳ thường được coi là đơn giản vì chỉ cần chỉ định hai qubit và cổng tương ứng. Nguyên nhân kỹ thuật: Trên phần cứng thực tế, các qubit thường chỉ kết nối trực tiếp với hàng xóm theo topology cụ thể (ví dụ heavy‑hex của IBM Eagle hoặc lưới của Sycamore), nên để thực hiện phép toán giữa qubit 0 và qubit 50 phải đưa chúng gần nhau qua chuỗi các cổng SWAP. Hệ quả: Mỗi SWAP thêm độ sâu mạch và giới thiệu lỗi, làm giảm độ chính xác tổng thể và có thể làm cho kết quả không thể tin cậy nếu khoảng cách quá lớn hoặc lỗi cổng cao. Điều đáng học: Trước khi viết chương trình, lập trình viên cần xem xét bản đồ kết nối của thiết bị, sử dụng công cụ ánh xạ (mapper) để tối ưu hoá vị trí qubit và giảm số SWAP, hoặc chọn phần cứng có kết nối tốt hơn cho thuật toán của mình. Kết quả là hiểu rõ về kết nối lượng tử giúp dự đoán khả năng tính toán thực tế và tránh lãng phí tài nguyên trên phần cứng không phù hợp.

Bài giải thích kết nối lượng tử giúp lập trình viên hiểu hạn chế thực tế khi thiết kế các thuật toán lượng tử.

#python #quantum-computing #ibm Source

Quesma1 Hot19 min3 d agoAI

Mushroom hunting with LLMs: what can go wrong?

Bài benchmark đánh giá 4 model LLM (GPT-5.6-Sol, Gemini 3.7 Flash, GLM-5.3-Flash, Claude Fable 5.1) trong nhiệm vụ nhận diện nấm độc/ăn được trên dataset FungiTastic. Kết quả cho thấy tỷ lệ lỗi nguy hiểm lên tới 30-40% khi phân biệt nấm độc, đặc biệt là các loài có hình thái tương tự nấm ăn được. Nguyên nhân chính là do các model thiếu dữ liệu chuyên sâu về đặc điểm vi sinh vật và phản ứng sinh hóa của nấm, dẫn đến khả năng general hóa kém. Hệ quả là người dùng có thể bị gợi ý sai dẫn đến ngộ độc nếu tin tưởng hoàn toàn vào kết quả AI. Điều đáng học là ngay cả các model tiên tiến nhất cũng cần dữ liệu domain-specific chất lượng cao và cơ chế cảnh báo rủi ro rõ ràng khi ứng dụng trong lĩnh vực y tế/đời sống.

Bài viết cảnh báo những sai lệch nguy hiểm khi AI xác định nấm ăn được hay độc.

#llm #computer-vision #google-gemini Source

Dev Genius6 Hot11 min13 d agoAI

Why 2031 Might Be the Last Year Humans Do AI Research

Trong thập kỷ qua, tốc độ tiến bộ của AI bị hạn chế bởi một yếu tố duy nhất – não người. Bài viết cho rằng các bước như thiết kế mô hình, điều chỉnh siêu tham số và phân tích kết quả vẫn phụ thuộc vào sự can thiệp thủ công của nhà nghiên cứu, khiến vòng lặp đổi mới chậm lại. Nếu xu hướng này tiếp tục, vào năm 2031 các hệ thống AI có thể đạt đủ khả năng tự động hóa toàn bộ chu trình nghiên cứu – từ giả thuyết đến triển khai – làm giảm nhu cầu về con người trong lĩnh vực này. Điều đáng học là các nhà phát triển cần đầu tư sớm vào công cụ tự động hóa nghiên cứu như neural architecture search và meta‑learning để không bị bỏ sau khi AI vượt qua giới hạn con người. Vì vậy, đọc bài gốc sẽ giúp lập trình viên nhìn rõ mốc thời gian tiềm năng và chuẩn bị kỹ thuật để thích ứng với thời đại AI nghiên cứu chính nó.

Bài này tiết lộ lý do thuyết phục tại sao nghiên cứu AI có thể sớm trở thành lĩnh vực duy nhất do chính trí tuệ nhân tạo tự tiến hóa.

#ai #machine-learning #openai Source

Handwritten Character Recognition Using VGG16 and SVM: A Transfer Learning Approach

Recommended for you

Bình luận

What Actually Happens Inside the Transformer MLP Layer?

A deep dive into Nurb

Quantization-Aware Healing: a compressed, 4-bit model that outperforms its full-precision original

Announcing Open Knowledge Compiler: a compiler for the Open Knowledge Format

DOOM Using Regular Expressions

How Quantum Connectivity Shapes What Your Quantum Computer Can Actually Compute

Mushroom hunting with LLMs: what can go wrong?

Why 2031 Might Be the Last Year Humans Do AI Research

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads