Drawing With Light: An Exploration of Lit GPU Tubes with TSL and WebGPU

Building a Real-Time 3D Face Mask with MediaPipe, Threlte and Three.js

Cần tạo hiệu ứng mặt nạ 3D thời gian thực trên web mà không phụ thuộc vào phần cứng chuyên dụng. Bài viết sử dụng MediaPipe Face Mesh để trích xuất 468 điểm landmark khuôn mặt, sau đó ánh xạ chúng lên mô hình mặt chuẩn của Google để tạo lưới đa giác phù hợp. Các điểm landmark được truyền qua Threlte – bộ bao Svelte cho Three.js – để cập nhật vị trí và hướng của đối tượng Three.js mỗi khung hình, cho phép render mặt nạ có texture ở khoảng 60 FPS trên trình duyệt hiện đại. Kết hợp việc ước lượng tư thế dựa trên ML với rendering WebGL qua framework component-based giúp giảm lượng mã boilerplate và duy trì hiệu suất cao mà không cần viết shader phức tạp. Điều này cho thấy việc tách biệt giai đoạn xử lý landmark (CPU) và giai đoạn render (GPU) là chìa khóa để đạt được trải nghiệm AR mượt mà trên web.