Latent Powers

Bối cảnh: Nhiều tổ chức cùng thời điểm khám phá và triển khai các công nghệ tương tự mà không có giao tiếp rõ ràng. Nguyên nhân kỹ thuật: Mô hình Transformer có thể tự phát triển các cơ chế attention hiệu quả mà không cần thiết kế thủ công, dẫn đến các giải pháp parallel trong kiến trúc neural networks. Hệ quả: Sự hội tụ tương tự giữa các lab nghiên cứu như OpenAI và Google về phương pháp training models với self-supervised learning, tạo ra các thành tựu như GPT-3 và BERT cùng hướng. Điều đáng học: Sự tiến bộ trong deep learning có thể dự đoán được hơn nhiều người nghĩ, khi các cơ bản nguyên lý toán học dẫn đến các giải pháp tối ưu tương tự bất kể điểm xuất phát.