Episode #310: Performance Engineering: Profiling and Making Apps Fast by Default – The Real Python Podcast

What Actually Happens Inside the Transformer MLP Layer?

Trong các mô hình ngôn ngữ lớn, sự chú ý thường tập trung vào cơ chế self-attention, trong khi lớp MLP (feed-forward network) của mỗi block transformer nhận ít phân tích hơn. MLP gồm hai biến đổi tuyến tính với một hàm kích hoạt phi tuyến (thường là GELU), mở rộng chiều từ mô hình dimension d lên trung gian thường là 4d (ví dụ 768→3072 trong BERT-base hoặc 4096→12288 trong GPT-3) rồi giảm lại về d. Vì hoạt động trên mỗi token độc lập và chứa phần lớn tham số (khoảng 2/3 tổng) và FLOPs, lớp MLP quyết định sức mạnh biểu diễn và cũng là chokepoint chính của tốc độ suy luận. Hiểu rõ cách MLP hoạt động cho thấy các kỹ thuật như giảm rank, quantization activation hoặc thay thế bằng Mixture-of-Experts (MoE) có thể giảm đáng kể chi phí tính toán mà không suy giảm hiệu suất. Vì vậy, khi đánh giá hoặc tối ưu hóa transformer nên tập trung vào lớp này cũng như self-attention.

Bài này giải thích chi tiết cơ chế hoạt động của lớp MLP trong Transformer, thành phần thường bị bỏ quên nhưng quan trọng không kém cơ chế Self-Attention.

NVIDIA Nemotron 3 Ultra: 10x cheaper than GPT-4o

NVIDIA vừa ra mắt Nemotron 3 Ultra, mô hình open weights với khả năng xử lý 1M token context, chi phí chỉ bằng 1/10 so với GPT-4o trên các benchmark agent. Sự chênh lệch giá này đến từ kiến trúc tối ưu và chiến lược cloud hosting của NVIDIA, cho phép người dùng tải weights, tự host và fine-tune hoàn toàn. Hệ quả là lập trình viên có thể triển khai Nemotron 3 Ultra với chi phí thấp đáng kể mà không phụ thuộc vào API trả phí của các dịch vụ đám mây. Bài này đáng đọc nếu bạn đang tìm kiếm một giải pháp LLM tiết kiệm chi phí, đặc biệt khi xây dựng các ứng dụng agent cần context window lớn.

NVIDIA Nemotron 3 Ultra mang đến lựa chọn AI mở với chi phí chỉ 1/10 GPT-4o, cho phép lập trình viên tự lưu trữ và tinh chỉnh mô hình.

Microservices Are Not a Sign You’re a Senior Engineer

Bài viết chỉ ra hiện tượng coi số lượng dịch vụ microservices như dấu hiệu của kinh nghiệm …

Project HydraFusion: Frontier quality via multi-model orchestration

Dự án HydraFusion được phát triển để đạt chất lượng ranh giới bằng cách phối hợp nhiều mô hình AI trong một quy trình làm việc. Trong các đánh giá offline được kiểm soát, nhóm đã thiết kế quy trình selective coding để chỉ gọi các mô hình khi cần thiết. Quy trình này cho kết quả bằng hoặc vượt qua mức chuẩn Opus 5 mà không cần chạy toàn bộ mô hình lớn liên tục. Đồng thời, việc giảm số lần gọi mô hình giúp chi phí ước tính được giảm đáng kể so với baseline. Kinh nghiệm cho thấy việc kết hợp orchestration đa mô hình với selective coding có thể cân bằng giữa chất lượng đầu ra và hiệu quả chi phí, điều mà các nhóm phát triển có thể tham khảo khi cân nhắc áp dụng mô hình lớn.

HydraFusion giúp đạt chất lượng hàng đầu với chi phí thấp hơn qua cách phối hợp mô hình đa dạng.

Microservices and GenAI in 2026: my Dear Architects conversation

Chris Richardson trong buổi trò chuyện Dear Architects với Luca Mezzalira giải thích tại sao nhiều doanh nghiệp vẫn xây dựng hệ thống big ball of mud. Nguyên nhân kỹ thuật là distributed monolith hiện ra qua dấu hiệu như quá nhiều dịch vụ mỗi nhà phát triển, phát hành lockstep và không có tăng tốc độ, cùng với khung dark energy và dark matter để xác định ranh giới dịch vụ. Khi sử dụng GenAI coding agents, các yếu tố cơ bản như phản hồi nhanh, kiểm thử tự động và kết nối lỏng lẻo trở nên quan trọng hơn vì cần có bảo vệ và vòng phản hồi nhanh để tránh tạo mã chết hoặc tài liệu ảo; đồng thời ông nghi ngại về hiện đại hóa di sản nhanh bằng AI, khuyến nghị dùng Strangler Fig thay vì viết lại toàn bộ, và nêu lo ngại về mệt mỏi từ lập trình đôi với AI, tác động của GenAI đến mô hình kinh doanh mã nguồn mở và khả năng phát triển theo spec trở lại mô hình waterfall. Điều đáng học là các kiến trúc sư nên tập trung vào cơ sở vững chắc (feedback nhanh, kiểm thử tự động, coupling lỏng) trước khi áp dụng AI, và cân nhắc cách tiếp cận Strangler Fig để thay đổi hệ thống cũ thay vì viết lại toàn bộ. Bài học còn nhắc nhở việc giám sát mệt mỏi từ lập trình đôi với AI và đánh giá tác động của GenAI đến kinh doanh mã nguồn mở để tránh quyết định dựa trên xu hướng mà không có căn cứ thực tiễn.

Bài viết này giúp lập trình viên hiểu rõ cách kết hợp Microservices và GenAI trong tương lai, tránh các cạm bẫy kiến trúc phân mòn và tận dụng AI một cách hiệu quả.

gRPC-Web Failed the Web · Buf

gRPC-Web được ra đời để cho phép các ứng dụng trình duyệt gọi dịch vụ gRPC mà không cần thay đổi máy chủ, nhưng nó dựa trên việc mã hóa lại payload và thường yêu cầu một proxy như Envoy để chuyển đổi giữa HTTP/1.1 của trình duyệt và HTTP/2 của máy chủ. Vì trình duyệt không hỗ trợ nguyên bản HTTP/2, gRPC-Web buộc phải sử dụng định dạng mã hóa đặc biệt và thường chỉ hỗ trợ gọi unary, khiến các tính năng streaming của gRPC bị hạn chế hoặc mất đi. Điều này dẫn đến độ trễ tăng lên, kích thước gói tin lớn hơn và khiến trình duyệt trở thành khách hàng hạng hai so với các client gốc sử dụng gRPC qua HTTP/2. Bài viết gợi ý thay vào đó các nhà phát triển nên cân nhắc sử dụng giao thức RPC gốc cho web như ConnectRPC hoặc tRPC, hoặc đơn giản là REST/GraphQL khi không cần các tính năng streaming mạnh mẽ của gRPC. Bài học là khi chọn RPC cho ứng dụng web, ưu tiên những giải pháp không cần proxy và không làm thay đổi semantics của giao thức gốc để tránh những Overshoot về hiệu suất và tính năng.

Đọc bài này để hiểu cách gRPC-Web đã bị hạn chế trong môi trường web so với gRPC truyền thống, và tìm hiểu về những lỗ hổng về an toàn và hiệu suất, cùng so sánh với các giải pháp RPC phù hợp hơn cho web như Protocol Buffers Web để tối ưu hóa ứng dụng web hiện đại.

Coworker.ai launches OM2, an organizational memory layer promising to slash enterprise AI token burn by 9x

Coworker.ai vừa ra mắt OM2, một lớp bộ nhớ tổ chức nhằm tối ưu chi phí token cho AI doanh nghiệp. OM2 tính trước kiến thức công ty thành một đồ thị neural có nhận thức về quyền truy cập, cho phép truy xuất nhanh mà không cần gửi toàn bộ ngữ cảnh mỗi lần. Kết quả là lượng token tiêu thụ giảm xuống 1/9 (khoảng 9x tiết kiệm) và thời gian phản hồi tăng tốc 64%. Khi kết hợp với việc định tuyến truy vấn qua nhiều mô hình, tổng mức tiết kiệm có thể lên tới 51x token. Điều này cho thấy việc đầu tư vào bộ nhớ tổ chức được tính trước có thể giảm đáng kể chi phí tính toán và cải thiện trải nghiệm người dùng trong hệ thống AI doanh nghiệp.

OM2 giúp lập trình viên tiết kiệm tới 51 lần chi phí token AI và tăng tốc độ phản hồi tới 64%.

Every Stage Worked. The Bill Was Still Paid Twice

Trong hệ thống thanh toán của một công ty fintech, mỗi stage trong pipeline đều hoạt động bình thường nhưng hóa đơn vẫn bị trừ tiền hai lần. Nguyên nhân kỹ thuật nằm ở transaction processing khi method chargeBill() được gọi hai lần do race condition giữa API gateway và service layer. Hệ quả là khách hàng bị trừ tiền gấp đôi trong khi hệ thống ghi nhận trạng thái "part-paid". Bài viết cho thấy tầm quan trọng của idempotency keys trong transaction design và cách họ implement retry mechanism để ngăn chặn double charging bằng cách thêm fingerprint cho mỗi transaction request.

Đọc bài này để hiểu cách lỗi mờ nhạt (silent failures) có thể trốn tránh trong các giai đoạn triển khai thành công, khiến chi phí thực tế vượt ngưỡng dự kiến mà không ai phát hiện ngay.