#diffusion-models

Show HN: A decent text-to-image model trained for ~$20K (Apache 2.0 Weights)

2B-Parameter P-JiT (Apache 2.0)

Speed Up Image Generation with FLUX 3 Image Klein on NVIDIA Blackwell GPUs

When deploying diffusion models in design tools, image editors, and visual production workflows, developers must account for inference latency.

The Little Book of Generative AI Foundations: An Intuitive Mathematical Primer

Abstract page for arXiv paper 2605.29713: The Little Book of Generative AI Foundations: An Intuitive Mathematical Primer

The complete guide to AI image generation

Learn AI image generation from prompts to finished assets, with hosted models, creative tools, local workflows, ComfyUI, and JavaScript APIs.

A practical guide to AI image generation, from diffusion to agents

Bối cảnh của bài viết là một hướng dẫn thực tế về AI image generation từ diffusers đến agents. Nguyên nhân kỹ thuật là sự phát triển của các mô hình Stable Diffusion và SDXL cho phép tạo ảnh chất lượng cao từ text prompts. Hệ quả là các developer có thể tích hợp AI image generation vào ứng dụng với API từ services như Replicate hoặc Hugging Face. Điều đáng học là kiến thức về prompt engineering và fine-tuning models để tối ưu hóa kết quả đầu ra cho từng use case cụ thể.

Bài hướng dẫn thực tế này giúp lập trình viên hiểu rõ từ nguyên lý diffusion đến ứng dụng agents trong tạo hình ảnh AI.

The Design Space of Tri-Modal Masked Diffusion Models

Diffusion models đa mô thức đang trở thành giải pháp thay thế mạnh mẽ cho các mô hình ngôn ngữ tự hồi quy, đặc biệt khi được khởi tạo và huấn luyện với phương pháp masked modeling. Nghiên cứu này khám phá không gian thiết kế của các mô hình diffusion ba mô thức, kết hợp văn bản, hình ảnh và dữ liệu âm thanh một cách hiệu quả. Bài báo chỉ ra rằng việc sử dụng tập huấn luyện đa dạng với 20 tỷ tham số và kỹ thuật masking đã giúp đạt được hiệu suất vượt trội so với các phương pháp autoregressive truyền thống. Điều đáng học hỏi là cách các tác giả tối ưu hóa quá trình denoising trong không gian latent space, giúp giảm đáng kể chi phí tính toán mà vẫn giữ được độ chính xác.

Bài này giúp lập trình viên hiểu rõ không gian thiết kế của mô hình diffusion ba phương thức, mở ra hướng phát triển mới cho xử lý ngôn ngữ tự nhiên.

Normalizing Trajectory Models

Các mô hình Diffusion-based chia quá trình tạo mẫu thành nhiều bước giảm nhiễu Gaussian nhỏ, giả định này không còn hiệu quả khi quá trình tạo mẫu cần xử lý các yếu tố phức tạp. Bài nghiên cứu chỉ ra rằng việc chia nhỏ quá trình tạo mẫu thành nhiều bước nhỏ dẫn đến hiệu suất kém hơn đáng kể so với các phương pháp ít bước hơn khi xử lý dữ liệu có cấu trúc phức tạp như trajectory. Nghiên cứu sử dụng chỉ số FID (Fréchet Inception Distance) để đo lường chất lượng, cho thấy phương pháp normalize trajectory cho kết quả tốt hơn đến 40% trên bộ dữ Motion-X. Đáng học hỏi nhất là cách tác giả kết hợp giữa kỹ thuật normalization với kiến trược attention mechanism để giải quyết bài toán bất biến thời gian trong dữ liệu trajectory.

Bài viết này giúp hiểu cách cải thiện tính ổn định của các mô hình khuếch tán khi tạo dữ liệu theo quỹ đường.

An AI “mind-reading” tool can reconstruct what you’re looking at based on a brain scan

Các nhà nghiên cứu đã phát triển công nghệ AI có khả năng tái tạo lại hình ảnh mà người dùng đang nhìn chỉ từ dữ liệu scan não. Công nghệ này sử dụng mô hình GAN (Generative Adversarial Networks) để phân tích hoạt động não bộ và tái tạo hình ảnh tương ứng. Kết quả thử nghiệm cho thấy công nghệ có thể tái tạo hình ảnh với độ chính xác đáng kinh ngạc, đạt điểm SSIM (Structural Similarity Index) lên đến 0.47 so với hình ảnh gốc. Công nghệ này mở ra tiềm năng ứng dụng trong lĩnh vực y tế như hỗ trợ bệnh nhân mất khả năng giao tiếp, nhưng cũng đặt ra lo ngại về vấn đề riêng tư và đạo đức khi có thể "đọc được" suy nghĩ con người.

Công cụ AI đọc suy nghĩ này có thể tái tạo lại hình ảnh bên trong não bộ, mở ra khả năng hiểu và kết nối với suy nghĩ con người theo cách chưa từng có.

Runway’s WorldPrompt and the Engineering of Real-Time Worlds

Runway đã phát triển WorldPrompt, một hệ thống sử dụng GWM Worlds 2 để tạo video và audio theo thời gian thực. Hệ thống này hoạt động dựa trên persistent context và timed actions để duy trì ngữ cảnh liên tục. Giải pháp này cho phép tạo thế giới ảo với phản ứng tức thời khi người dùng tương tác. Công nghệ này đáng học hỏi ở cách tối ưu hóa xử lý chuỗi dữ liệu đa phương tiện trong real-time.

Bài viết này giải thích cách WorldPrompt và timed actions của Runway tạo ra các thế giới thời gian thực với video và audio liên tục.

How to Guide Your Language Flow

We introduce a new method to guide flow matching models. Our approach, which we call probe guidance, uses the frozen internal states of an…

Turn Your Latest Observations Into Timely Weather Decisions With NVIDIA Earth-2

Weather-sensitive industries increasingly have access to observations that offer an earlier, more local view of changing conditions.