Creating a 3D Character Based on a 64×64 Pixel Sprite from Pokémon

Building a 3D AI assistant using React Native and GPT-Realtime

Bài viết mô tả cách xây dựng một trợ lý AI 3D tương tác bằng React Native, trong đó nhân vật là một sói được render bằng Filament. Giọng nói được cung cấp bởi mô hình gpt-realtime của OpenAI, truyền qua WebSocket nguyên生 để đạt độ trễ thấp. Hàm lượng âm thanh được dùng để điều khiển hình dạng môi (amplitude‑driven lip sync) khiến hình ảnh nói nhịp nhàng với giọng nói. Ngoài ra, các công cụ được gọi qua assistant có thể ghi sự kiện trực tiếp vào lịch thực của người dùng qua API hệ thống. Từ dự án này chúng ta học được cách kết hợp render 3D cao performance (Filament) với dịch vụ AI thời gian thực và tích hợp sâu vào tính năng native qua WebSocket và tool calls, mở đường cho các ứng dụng AI có giao diện 3D tương tác trên mobile.

Bài hướng dẫn này giúp bạn tạo trợ lý AI 3D tương tác với công nghệ React Native và GPT-Realtime tiên tiến.