Since 1987 – Covering the Fastest Computers in the World and the People Who Run Them

Let AI Burn

Bài viết cho rằng ngành AI đang là một bong bóng không bền vững, dựa trên tài trợ vòng …

Your GPU Is a Kitchen With One Tiny Door

Bài viết phân tích sâu về kiến trúc GPU, giải thích tại sao quá trình sinh token cho LLM (Large Language Model) bị giới hạn bởi băng thông bộ nhớ (memory-bound) thay vì sức mạnh tính toán (compute-bound). GPU có cấu trúc vật lý gồm các SM (Streaming Multiprocessor), warp, SRAM/HBM, và cơ chế truyền lệnh từ Python qua GPU thông qua 'doorbell'. Mặc dù H100 có thể thực hiện ~600 phép toán mỗi lần truy xuất dữ liệu từ bộ nhớ, băng thông bộ nhớ vẫn là điểm nghẽn chính. Bài viết giới thiệu mô hình roofline và ba chế độ hoạt động của Horace He (compute-bound, memory-bound, overhead-bound), đồng thời chứng minh bằng số liệu rằng quá trình giải mã LLM chỉ đạt ~1 FLOP/byte, thấp hơn nhiều so với ngưỡng ~300 FLOPs/byte. Thí nghiệm thực tế sử dụng nvidia-smi dmon cũng minh họa sự khác biệt giữa các phép toán giới hạn bởi tính toán (matmul) và bộ nhớ (elementwise).

Lập trình viên cần đọc bài này để hiểu tại sao việc tối ưu hóa mô hình AI không chỉ phụ thuộc vào tính toán mạnh mẽ mà còn phụ thuộc vào cách quản lý bộ nhớ hiệu quả, giúp họ thiết kế và triển khai các ứng dụng LLM hiệu quả hơn.

Announcing TypeScript 7.0 RC

TypeScript 7.0 RC đã được phát hành với trình biên dịch (compiler) được viết lại bằng Go, giúp tăng tốc độ build lên gấp 10 lần so với phiên bản 6.0 nhờ sử dụng đa luồng (parallelism) và mã gốc (native code). Phiên bản mới cũng thay đổi mặc định (strict: true, module: esnext), loại bỏ các flags lỗi thời, đồng thời hỗ trợ cài đặt song song với phiên bản 6.0 qua package @typescript/typescript6.

Lập trình viên nên đọc để khám phá cách TypeScript 7.0 cải thiện hiệu suất gỡ lỗi và xây dựng dự án với tốc độ gấp 10 lần nhờ chuyển sang biên dịch viên Go, đồng thời nâng cấp tính năng mới như chế độ strict mặc định và cải tiến trong VS Code.

AI inference is obviously profitable

Phân tích chi phí sơ lược cho thấy suy luận (inference) AI thực sự sinh lời, với chi phí ước tính khoảng 1 USD cho mỗi triệu token đầu ra, thấp hơn nhiều so với mức giá 4,5 USD trở lên của các nhà cung cấp như OpenAI, qua đó đạt biên lợi nhuận gộp 70–80%. Suy luận AI có lợi nhuận, nhưng các phòng thí nghiệm AI như OpenAI và Anthropic sử dụng khoản lợi nhuận này để bù đắp chi phí đào tạo mô hình tốn kém.

Là người phát triển muốn tối ưu chi phí cho ứng dụng AI của mình, bài viết này giúp bạn hiểu rõ về lợi nhuận thực tế của quá trình inference AI, từ đó có thể xây dựng mô hình kinh doanh hiệu quả và tránh bỏ lỡ cơ hội tiết kiệm chi phí mà không phụ thuộc vào sự hỗ trợ từ các công ty lớn.

OpenAI and Broadcom build a chip to rival Nvidia’s Blackwell

OpenAI và Broadcom hợp tác phát triển chip AI tùy chỉnh Jalapeño nhằm cạnh tranh với Nvidia Blackwell và Google TPU, nhắm vào workloads inference. Chip này đã được thử nghiệm với mô hình GPT-5.3-Codex-Spark và dự kiến triển khai vào cuối năm 2025, trong khi tình trạng thiếu hụt HBM đang ảnh hưởng đến biên lợi nhuận của Broadcom.

Lập trình viên nên đọc bài này để hiểu cách các công ty lớn như OpenAI và Broadcom hợp tác phát triển chip AI chuyên dụng, giúp tối ưu hóa hiệu suất cho các mô hình lớn như GPT-5.3, ảnh hưởng trực tiếp đến hiệu năng và chi phí của các ứng dụng AI trong tương lai.

AMD Enabling CACP Feature On Linux For Greater OLED Power Savings

AMD đang kích hoạt tính năng CACP trong driver AMDGPU mã nguồn mở trên Linux nhằm tối ưu tiết kiệm điện năng cho màn hình OLED. Bản vá cũng bổ sung hỗ trợ PSR, Panel Replay, IPS cho DCN42b và sửa lỗi phân tích chế độ 8K qua HDMI 2.1. Các thay đổi dự kiến sẽ được đưa vào nhân Linux phiên bản 7.3.

Lập trình viên phát triển phần mềm cho hệ điều hành Linux sẽ tìm hiểu về CACP để tối ưu hóa hiệu suất và tiết kiệm năng lượng cho các ứng dụng sử dụng màn hình OLED, đặc biệt là trong các dự án liên quan đến GPU AMD và giao diện người dùng.

Bolt Graphics

Bolt Graphics ra mắt GPU Zeus dành cho kiến trúc sư, game thủ, nghệ sĩ và nhà nghiên cứu, hứa hẹn hiệu năng render/simulate nhanh hơn, tiết kiệm điện hơn, hỗ trợ real-time path tracing, photorealistic rendering, giảm thời gian render phim/TV cùng khả năng mô phỏng vật lý cho HPC.

Lập trình viên chuyên về đồ họa và AI nên đọc bài này để khám phá cách GPU mới như Zeus có thể tối ưu hóa các công cụ rendering và simu­la­tion cho các ứng dụng như ray tracing, vật lý và HPC, giúp phát triển các giải pháp hiệu quả hơn cho các dự án tương tác và thực tế ảo.