Building a RAG Pipeline with LLM Embeddings and Scikit-learn

Build and Train a 25M Parameter LLM From Scratch on Your CPU

Bối cảnh: Bạn không cần cụm GPU khổng lồ để học cách AI hiện đại hoạt động. …

How to Create System Design Diagrams using Python

Việc tạo hệ thống diagram cho kiến trúc hệ thống là phần quan trọng trong tài liệu kỹ …

Python 3.15

Python 3.15 đã được phát hành đi kèm các cập nhật cho công cụ Ruff, uv và ty. Phiên bản Python mới này tập trung vào tối ưu hóa hiệu suất và cải tiến hệ thống type hinting. Ruff hiện đã hỗ trợ kiểm tra mã nguồn nhanh hơn gấp 20 lần so với các công cụ truyền thống. uv cải thiện tốc độ cài đặt package lên đến 10-100 lần nhờ thuật toán dependency resolution mới. Đáng chú ý nhất là tính năng Type Parameters trong typing module giúp viết code generic mạnh mẽ hơn mà không cần dùng đến thư viện third-party.

Python 3.15 ra kèm cập nhật cho Ruff, uv và ty giúp lập trình viên nắm bắt tính năng mới và công cụ tối ưu.

Google paid $90,000 for this bug, then waited two months to fix it

Google đã trả 90,000 USD cho một lỗ h bảo mật trên các máy chủ developer docs. Nguyên nhân kỹ thuật là do Google sử dụng chung một OAuth secret làm signing key. Lỗ h này cho phép kẻ tấn thực hiện remote code execution trên hệ thống. Dù đã biết và chi trả tiền thưởng, Google lại mất hai tháng vá lỗi. Điều này cho thấy việc tách bạch giữa các chức năng bảo mật là quan trọng, ngay cả với các tập đoàn công nghệ lớn như Google.

Bài viết này giúp lập trình viên hiểu về rủi bảo mật OAuth và tầm quan trọng của việc vá lỗi kịp thời.

The LLM Blindspot: Why Models Forget What’s in the Middle of Your Prompt

Các mô hình LLM (Large Language Model) thường bỏ qua thông tin nằm ở giữa prompt, hiện tượng được nghiên cứu trong bài viết này. Nguyên nhân kỹ thuật đến từ cơ chế attention của transformer architecture, nơi các token ở đầu và prompt được tính trọng số cao hơn. Hệ quả là mô hình có thể hiểu sai hoặc bỏ qua chi tiết quan trọng nằm ở vị trí trung tâm của prompt. Bài viết phân tích cụ thể hiện tượng này với các thí nghiệm trên GPT-3.5 và GPT-4, cho thấy tỷ lệ lỗi tăng lên đáng kể khi thông tin quan trọng được đặt ở giữa. Điều đáng học là các lập trình viên nên thiết kế prompt đặt thông tin quan trọng ở đầu hoặc cuối để tối ưu hóa hiệu quả khi làm việc với LLM.

Bài giải thích này giúp lập trình viên hiểu rõ tại sao mô hình ngôn ngữ lớn có xu hướng bỏ qua thông tin ở giữa prompt.

Artifical Intelligence — Prep Interview

Ngành AI và ML có nhiều nhánh kiến thức sâu rộng mà sinh viên và kỹ sư cần tập trung khi phỏng vấn. Cơ sở kỹ thuật bao gồm supervised learning, unsupervised learning và reinforcement learning với các mô hình như neural networks và transformers. Hệ quả là ứng viên cần hiểu rõ các khái niệm như gradient descent, backpropagation và evaluation metrics. Điều đáng học là bài viết cung cấp lộ trình ôn tập chi tiết với các resources thực tế và ví dụ code cụ thể.

Bài viết này cung cấp hướng dẫn tập trung vào các lĩnh vực AI/ML quan trọng nhất giúp ứng viên chuẩn bị tốt hơn cho phỏng vấn kỹ thuật.

Part 1: Make your AI agents boring: the determinism layer

Stack Overflow nền tảng công khai được thành lập năm 2008 và được hầu hết các lập trình sư sử dụng để học hỏi, chia sẻ kiến thức và hợp tác. Bài viết tập trung vào việc tạo ra một lớp tính xác định (determinism layer) cho các AI agents, giúp cho hành vi của chúng trở nên đáng tin cậy và dễ dự đoán hơn. Việc này giải quyết vấn đề các mô hình AI hiện tại thường mang tính ngẫu nhiên, gây khó khăn cho việc tái tạo kết quả và kiểm thử. Các lập trình viên nên đọc bài này để hiểu cách triển khai lớp xác định, đặc biệt khi làm việc với các AI systems đòi hỏi tính nhất quán cao như chatbot hỗ trợ khách hàng hay quy trình tự động hóa.

Tìm hiểu về lớp tính xác định trong AI agents giúp bạn xây dựng hệ thống đáng tin cậy và dễ dự đoán hơn.

A 29MB AI model is the most useful thing I've run on my Raspberry Pi 5, and it doesn't need an AI HAT

Tác giả đã chạy một AI model kích thước chỉ 29MB trên Raspberry Pi 5 mà không cần thiết bị hỗ trợ phần cứng AI HAT. Mô hình này đủ nhỏ để xử lý trực tiếp trên con single-board computer này mà không gặp vấn đề về hiệu năng. Tác giả cho thấy đây là ứng dụng AI hữu ích nhất mà họ từng triển khai trên thiết bị này, chứng tỏ Raspberry Pi 5 có khả năng xử lý AI tốt hơn các thế hệ trước. Điều này mở ra cơ hội cho các dự án AI phân quyền và tiết kiệm chi phí, khi không cần đầu tư vào thiết bị chuyên dụng hay cloud computing.

Bài viết này cho thấy cách chạy AI mô hình nhỏ hiệu quả trên Raspberry Pi 5 mà không cần phần cứng chuyên dụng.