Quomodo: Git-Based Container Management for Podman

Affinity is finally coming to Linux, although we don't know when it'll arrive just yet

Still, it's good that it's on the way.

Learn Real-World Penetration Testing: Hands-On Ethical Hacking Crash Course

Understanding how malicious actors infiltrate networks is the first step to building resilient infrastructure. To help developers and aspiring security analysts learn the fundamentals of offensive sec

BoxBox: A Self-Hosted File Manager Without the Cloud Suite

BoxBox is a self-hosted file manager for browsing files already on a Linux server or NAS, without a full cloud suite like Nextcloud. It supports multiple storage locations in one interface, chunked uploads that resume after interruptions, and background jobs with progress updates for moving files. A built-in Monaco-based editor (the same tech used by VS Code) lets you edit configs in the browser. It also supports file and folder sharing with expiring links and ZIP downloads. BoxBox runs as a single Docker container with a Go backend and SvelteKit frontend, needs no separate database, and is released under the MIT license.

TutorLoom: A Self-Hosted Learning Management System

TutorLoom is a self-hosted learning platform with course building, student management, progress tracking, and Docker deployment.

How to run an LLM locally

Run an LLM locally with Ollama. See how much memory you need, where LM Studio and llama.cpp fit, and how to call the model from code.

EP230: RAG vs Agentic RAG

RAG (Retrieval-Augmented Generation) và Agentic RAG là hai phương pháp xử lý thông tin khác nhau trong lĩnh vực AI. RAG hoạt động bằng cách truy vấn vector database để tìm thông tin liên quan trước khi tạo câu trả lời, ví dụ như với vector database có thể chứa hàng triệu document embeddings. Agentic RAG thêm vào một agent có khả năng tự suy luận, cho phép hệ thống tự động xác định cần tìm thêm thông tin hay không, như trường hợp của OpenAI's GPT-4 với function calling. Sự khác biệt chính là Agentic RAG có khả năng tự chủ trong việc quyết định cần làm gì tiếp theo thay vì chỉ phụ thuộc vào kết quả truy vấn ban đầu. Đây là kiến thức quan trọng để hiểu sự tiến hóa từ RAG cơ bản đến các hệ thống thông minh hơn có khả năng tự điều chỉnh.

Bài viết này giúp bạn hiểu rõ sự khác biệt cơ bản giữa RAG và Agentic RAG để áp dụng hiệu quả vào các dự án AI.

I changed one llama.cpp flag, and my 8GB laptop GPU now runs a 35B model faster than I can read

Một lập trình viên đã tìm ra cách chạy model Llama 35B trên laptop GPU chỉ 8GB VRAM với tốc độ đáng kinh ngạc. Nguyên nhân kỹ thuật nằm ở việc chỉnh sửa cờ n_gpu_layers trong llama.cpp, cho phép tận dụng hiệu quả bộ nhớ VRAM thay vì để nó trở thành điểm nghẽn. Hệ quả là model 35B parameters chạy nhanh đến mức người dùng không kịp theo dõi, vượt xa các kỳ vọng ban đầu về giới hạn phần cứng. Điều đáng học hỏi là đôi khi vấn đề không nằm ở cấu hình phần cứng mà ở cách tối ưu hóa phần mềm để khai thác tiềm năng thực sự của hardware.

Bài viết tiết lộ cách tối ưu hóa một cờ trong llama.cpp để chạy mô hình 35B trên GPU 8GB nhanh hơn tốc độ đọc của bạn.

Homelab Atlas: Self-Hosted Homelab Diagrams

Homelab Atlas makes it easier to diagram a home server setup, with Docker deployment, service logos, and optional network discovery.