The Man by the Lake: Why Billion-Dollar AI Labs Cannot Buy a Soul

Bối cảnh cảnh báo về sự yếu cố hữu trong hệ thống AI lớn như Llama 3 và Claude 3 khi chúng xử lý prompt dài. Nguyên nhân kỹ thuật nằm ở vấn đề về attention mechanism và vị trí embedding, khiến các mô hình không thể xử lý hiệu quả chuỗi token quá 128K token. Hệ quả là các công ty đầu tư tỷ đô như Anthropic và Google vẫn phải đối mặt với giới hạn trong khả năng xử lý ngữ cảnh dài, dù đã nỗ lực tối ưu hóa. Điều đáng học là bài viết chỉ ra rằng giải pháp không chỉ nằm vào việc mở rộng context window mà đòi hỏi sự thay đổi về mặt cấu trúc attention mechanism, điều mà nhiều dự án AI hàng đầu hiện đang bỏ qua.