Extending Inductor for the IBM Spyre Accelerator

IBM's torch-spyre stack moved its torch.compile backend from a from-scratch compiler called sendnn to backend=inductor, an extension of PyTorch's own Inductor compiler. Most of Inductor worked unchanged; the real engineering concentrated on three areas where Spyre's dataflow architecture diverges from GPU assumptions: stick-granularity memory addressing (128-byte chunks instead of individual elements), scratchpad-only memory hierarchies with no hardware-managed cache, and static compile-time work division across 32 cores instead of runtime scheduling. The post details the work-division planner, scratchpad allocator, and a new co-optimizing allocator that uses either a greedy heuristic or an OR-Tools CP-SAT solver to jointly decide work splits and buffer placement, including a core-to-core relayout mechanism (lx_relayout) that avoids expensive device-memory round trips. Measured results include a 27% kernel-time reduction from scratchpad-aware scheduling on a softmax kernel, a 29-69% cut from layout tiling on a matmul, and an 80x cost reduction on a synthetic case by choosing a relayout over a device-memory spill. The resulting Inductor-based compiler is roughly 7x smaller in lines of code than sendnn. The team is working with upstream PyTorch to formalize the extension points they relied on, including landed changes in PyTorch 2.12 and two public RFCs for future extension points.

Source: https://pytorch.org/blog/extending-inductor-for-the-ibm-spyre-accelerator. 8 Sync News only summarizes and links out; content copyright belongs to the authors and original sources.

Recommended for you

freeCodeCamp25 Hot2 min25 d agoAI

Hands-On Evolution of Deep Learning – Geoffrey Hinton’s AI Legacy

Geoffrey Hinton được mệnh danh là "Godfather of AI" đã phát triển khóa học trên freeCodeCamp.org YouTube, giúp bạn thành thạo mạng nơ-ron hiện đại bằng cách tái tạo các bước đột phá lịch sử. Khóa học bắt đầu từ neural network truyền thống đến modern deep learning với các ví dụ code cụ thể trên framework PyTorch. Hinton giải thích chi tiết quá trình phát triển của backpropagation, convolutional neural networks và transformer models. Bạn sẽ hiểu tại sao dropout giảm overfitting từ 27% xuống 2.5% và cách attention mechanism thay đổi hoàn toàn NLP. Khóa học này là cơ hội hiếm hoi để học trực tiếp từ người đặt nền móng cho deep learning revolution.

Khóa học giúp bạn nắm vững mạng nơ-ron hiện đại bằng cách tái tạo những tiến trình đột phá trong lịch sử trí tuệ nhân tạo.

#machine-learning#deep-learning#neural-networksSource

Typescript119 Hot21 min3 mo agoAI

Announcing TypeScript 7.0

TypeScript 7.0 ra mắt phiên bản biên dịch gốc bằng Go, cải thiện tốc độ build lên 8–12 lần và giảm đáng kể bộ nhớ sử dụng. Tính năng mới bao gồm kiểm tra kiểu song song, chế độ --watch được tái thiết kế, và hỗ trợ đầy đủ LSP cho trình soạn thảo. Phiên bản này loại bỏ các tùy chọn lỗi thời như es5, baseUrl, AMD/UMD, nhưng chưa tương thích với các framework nhúng do thiếu API lập trình.

Nếu bạn đang phát triển với TypeScript và muốn tối ưu hóa hiệu suất cho dự án, từ bỏ các tính năng cũ và nâng cấp công cụ tích hợp với IDE, hãy đọc để cập nhật những thay đổi quan trọng trong phiên bản mới nhất.

#performance#typescript#golangSource

The Quantum Insider1 Hot9 min5 d agoAI

Quantinuum Processors Stand Out in Study of Quantum Error-Correction Operations

Nghiên cứu đánh giá hiệu suất của quantum error correction operations trên nhiều nền tảng khác nhau, và Quantinuum đã thể hiện kết xuất sắc nhất. Các H-series processor của Quantinuum đạt fidelity trung bình 99.97%, cao hơn đáng kể so với các nền tảng khác như IBM và Rigetti. Hiệu suất cao này đến từ sự kết hợp của chất lượng qubit vật lý và khả năng thực hiện các gate lỗi thấp. Thành công này cho thấy hệ thống quantum computing của Quantinuum đã đạt đến mức độ quan trọng cho việc triển khai quantum error correction trong thực tế.

Bài viết này giúp lập trình viên hiểu tại sao bộ xử lý Quantinuum nổi bật trong các hoạt động sửa lỗi lượng tử.

#quantum-computing#ibmSource

IEEE Spectrum1 Hot5 min6 d agoAI

IBM Anderon Quantum Foundry Automates Qubit Fabs

IBM Anderson Quantum Foundry đã tự động hóa quy trình sản xuất superconducting qubit tại quantum fab của mình, giúp tăng hiệu suất sản xuất. Sự tự động hóa này giải quyết vấn đề độ nhạy cảm cao của qubit trong môi trường phòng lab truyền thống. Kết quả là IBM đạt được tỷ lệ sản xuất thành công cao hơn đáng kể, giảm thiểu hư hỏng trong quá trình sản xuất. Điều này cho thấy tiềm năng chuyển đổi các thiết bị lượng tử dễ vỡ thành phần cứng đáng tin cậy cho các ứng dụng thực tế. Lập trình viên quan tâm đến quantum computing nên chú ý đến công nghệ sản xuất của IBM như một bước tiến quan trọng trong việc thương mại hóa công lượng tử.

Bài viết này giúp lập trình viên hiểu quá trình sản xuất chip qubit siêu dẫn tự động của IBM, từ đó xây dựng ứng dụng lượng tử thực tế hiệu quả hơn.

#quantum-computing#ibmSource

Typescript78 Hot15 min3 mo agoAI

Announcing TypeScript 7.0 RC

TypeScript 7.0 RC đã được phát hành với trình biên dịch (compiler) được viết lại bằng Go, giúp tăng tốc độ build lên gấp 10 lần so với phiên bản 6.0 nhờ sử dụng đa luồng (parallelism) và mã gốc (native code). Phiên bản mới cũng thay đổi mặc định (strict: true, module: esnext), loại bỏ các flags lỗi thời, đồng thời hỗ trợ cài đặt song song với phiên bản 6.0 qua package @typescript/typescript6.

Lập trình viên nên đọc để khám phá cách TypeScript 7.0 cải thiện hiệu suất gỡ lỗi và xây dựng dự án với tốc độ gấp 10 lần nhờ chuyển sang biên dịch viên Go, đồng thời nâng cấp tính năng mới như chế độ strict mặc định và cải tiến trong VS Code.

#typescript#golang#compilerSource

The Developing Dev23 Hot56 min1 mo agoAI

Creator of TypeScript: 10x Faster Typescript, Why AI Won't Replace SWEs

Anders Hejlsberg, cha đẻ của TypeScript và C#, chia sẻ về quá trình viết lại trình biên dịch TypeScript bằng Go cùng những chi tiết kỹ thuật đằng sau nó.

Lập trình viên nên đọc bài này để hiểu cách cải tiến hiệu năng compiler TypeScript bằng Go, giúp hiểu sâu hơn về kiến trúc hệ thống và cách tối ưu hóa công cụ phát triển trong thực tế.

#typescript#go#rustSource

Gleam1 Hot17 min7 d agoAI

Gleam doesn't compile to Erlang source anymore

Gleam phiên bản 1.19.0 đã thay đổi cách biên dịch, không còn tạo ra code nguồn Erlang truyền thống mà chuyển sang sử dụng Erlang/OTP BEAM files trực tiếp. Thay đổi này giúp tăng tốc độ biên dịch đáng kể, giảm thời gian từ 5-10 giây xuống còn dưới 1 giây cho các dự án trung bình. Việc bỏ qua bước tạo code nguồn Erlang giúp giảm thiểu sự phức tạp trong quá trình build và tránh những vấn đề về đồng nhất giữa code nguồn và BEAM file. Đối với lập trình viên, đây là sự cải tiến quan trọng giúp tăng hiệu suất làm việc đáng kể khi sử dụng Gleam trong môi trường production.

Bài viết này giải thích thay đổi quan trọng trong cách Gleam biên dịch chương trình, ảnh hưởng đến cách bạn tương tác với Erlang runtime.

#javascript#compiler#erlangSource

Google Developers61 Hot3 min3 mo agoAI

Unlocking the Power of the TPU Stack: Introducing our new Developer Hub

Google Cloud vừa giới thiệu TPU Developer Hub, một nền tảng giáo dục tập trung dành cho nhà phát triển ML sử dụng TPU, bao gồm kiến trúc phần cứng, stack phần mềm (XLA, Pallas kernels), công cụ gỡ lỗi XProf, chiến lược tối ưu hóa (như offloading KV cache) cùng networking và bảo mật. Nội dung đa dạng từ Colabs tương tác, mã nguồn mở đến tài liệu chuyên sâu, hỗ trợ tích hợp AI-assisted development.

Lập trình viên ML nên đọc để hiểu cách tối ưu hóa hiệu suất và chi phí của mô hình trên TPU với các công cụ mới như XLA, Pallas và các chiến lược parallelism, từ đó tiết kiệm thời gian và nguồn lực trong triển khai sản phẩm AI.

#machine-learning#pytorchSource