Medium

The John Ternus era begins at Apple

John Ternus chính thức trở thành CEO Apple vào ngày 1 tháng 9, kết thúc 15 năm làm việc …

What Actually Happens Inside the Transformer MLP Layer?

Trong các mô hình ngôn ngữ lớn, sự chú ý thường tập trung vào cơ chế self-attention, trong khi lớp MLP (feed-forward network) của mỗi block transformer nhận ít phân tích hơn. MLP gồm hai biến đổi tuyến tính với một hàm kích hoạt phi tuyến (thường là GELU), mở rộng chiều từ mô hình dimension d lên trung gian thường là 4d (ví dụ 768→3072 trong BERT-base hoặc 4096→12288 trong GPT-3) rồi giảm lại về d. Vì hoạt động trên mỗi token độc lập và chứa phần lớn tham số (khoảng 2/3 tổng) và FLOPs, lớp MLP quyết định sức mạnh biểu diễn và cũng là chokepoint chính của tốc độ suy luận. Hiểu rõ cách MLP hoạt động cho thấy các kỹ thuật như giảm rank, quantization activation hoặc thay thế bằng Mixture-of-Experts (MoE) có thể giảm đáng kể chi phí tính toán mà không suy giảm hiệu suất. Vì vậy, khi đánh giá hoặc tối ưu hóa transformer nên tập trung vào lớp này cũng như self-attention.

Bài này giải thích chi tiết cơ chế hoạt động của lớp MLP trong Transformer, thành phần thường bị bỏ quên nhưng quan trọng không kém cơ chế Self-Attention.

Coworker.ai launches OM2, an organizational memory layer promising to slash enterprise AI token burn by 9x

Coworker.ai vừa ra mắt OM2, một lớp bộ nhớ tổ chức nhằm tối ưu chi phí token cho AI doanh nghiệp. OM2 tính trước kiến thức công ty thành một đồ thị neural có nhận thức về quyền truy cập, cho phép truy xuất nhanh mà không cần gửi toàn bộ ngữ cảnh mỗi lần. Kết quả là lượng token tiêu thụ giảm xuống 1/9 (khoảng 9x tiết kiệm) và thời gian phản hồi tăng tốc 64%. Khi kết hợp với việc định tuyến truy vấn qua nhiều mô hình, tổng mức tiết kiệm có thể lên tới 51x token. Điều này cho thấy việc đầu tư vào bộ nhớ tổ chức được tính trước có thể giảm đáng kể chi phí tính toán và cải thiện trải nghiệm người dùng trong hệ thống AI doanh nghiệp.

OM2 giúp lập trình viên tiết kiệm tới 51 lần chi phí token AI và tăng tốc độ phản hồi tới 64%.

The Disappearing Senior: AI and Entry Level Jobs

AI code review đang là nút thắt thực sự và mọi người đều thừa nhận điều đó. Trong sơ đồ tổ chức, không có vị trí verifier hay bất kỳ khoản ngân sách nào dành cho việc này.

Lập trình viên nên đọc bài này vì nó cảnh báo về nguy cơ mất vị trí của những kỹ sư có kinh nghiệm trước sự phát triển nhanh chóng của AI, khi các công ty bỏ bỏ vai trò kiểm tra và đầu tư vào đội ngũ chuyên môn, khiến sự khác biệt giữa người mới và người giàu kinh nghiệm trở nên mờ nhạt.

System helps humans predict when self-driving cars will make mistakes

Bối cảnh: Xe tự hành (autonomous vehicle) thường khó dự đoán trong các tình huống bất thường. Nguyên nhân kỹ thuật: CW-Net là kỹ thuật giải thích hành vi xe bằng cách sử dụng khái niệm dễ hiểu với con người. Hệ quả: Nghiên cứu cho thấy những giải thích này giúp tài xế dự đoán hành vi xe trong các tình huống bất ngờ. Điều đáng học: Việc kết hợp AI giải thích (explainable AI) với giao tiếp người-máy có thể cải thiện an toàn giao thông tự động. Công nghệ này có thể ứng dụng trong các hệ thống lái xe bán tự động (autonomous vehicle) để giảm sự mất tin tưởng của người dùng.

CW-Net giúp con người hiểu và dự đoán hành vi của xe tự lái trong các tình huống bất ngờ.

Your Second Skill Was Never a Parachute

Kỹ năng thứ hai của bạn không bao giờ là chiếc dù cứu sinh, và bằng chứng đã tồn tại từ 600 năm trước. Hiểu vì sao nỗ lực đó thất bại chính là cách rõ ràng nhất để nhận ra những gì đang xảy ra với sự nghiệp của chúng ta ngày nay.

Lập trình viên nên đọc bài này để hiểu rằng sự thành công không phụ thuộc vào kỹ năng thứ hai mà là vào cách bạn chuyển đổi và ứng dụng kiến thức từ những thất bại của lịch sử để xây dựng sự nghiệp bền vững trong công nghệ hiện đại.

Silicon Valley sees AI as the solution – for everyone else

Thung lũng Silicon coi AI như "chìa khóa vạn năng" có thể giải quyết mọi vấn đề toàn cầu như biến đổi khí hậu hay ung thư, nhưng thực tế, công nghệ này nhiều khả năng sẽ làm sâu sắc thêm bất bình đẳng giai cấp thay vì xóa bỏ.

Là một lập trình viên, bạn nên đọc bài này để hiểu cách AI không chỉ là công cụ giải quyết vấn đề mà còn có thể trở thành một công cụ phân biệt lớp xã hội, và cách bạn có thể ứng dụng kiến thức về đạo đức và tác động xã hội trong dự án của mình để tránh trở thành một phần của những hệ thống không công bằng.

"A" for "Average"

Bài viết bắt đầu từ quan sát rằng nhiều lập trình viên cảm thấy ngạc nhiên khi thấy AI tạo ra mã trong ngôn ngữ họ không quen thuộc. Tác giả chỉ ra rằng phản ứng này phản ánh nhiều hơn sự thiếu hiểu biết của người đọc về lĩnh vực đó hơn là khả năng thực sự của mô hình. Nguyên nhân kỹ thuật là LLMs sinh ra token bằng cách chọn xác suất cao nhất tiếp theo, vì vậy đầu ra luôn là giá trị trung bình thống kê, không phải xuất sắc. Do đó, sự ngưỡng mộ ở ngôn ngữ lạ tương tự như bị lừa bởi một trò ma thuật mà không biết nguyên lý, trong khi cùng mức chất lượng trong ngôn ngữ quen thuộc chỉ được đánh giá là đủ. Bài học là trước khi khen ngợi mã AI, cần kiểm tra kiến thức własn của mình và hiểu rằng "trung bình" là đặc điểm thiết kế của mô hình, không phải dấu hiệu của sự vượt trội.

Bài viết giúp bạn hiểu thực chất chất lượng trung bình của AI và tránh đánh giá sai năng lực công nghệ.