Nvidia teams up with chip rival d-Matrix on inference

Nvidia is partnering with AI inference chip startup d-Matrix to ship a joint system that pairs Nvidia GPUs for the compute-heavy prefill phase with d-Matrix's Corsair accelerator for the decode phase. The first customer is AI-cloud firm Parasail. d-Matrix's Corsair uses in-memory computing to avoid expensive high-bandwidth memory, with the company claiming 10x faster token generation at one-third the cost and up to 5x less energy. The deal reflects Nvidia's broader strategy of absorbing potential chip rivals into its ecosystem rather than competing head-on, as the AI market shifts focus from training to inference workloads.

Nguồn: https://thenextweb.com/news/nvidia-d-matrix-joint-inference-chip-system. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

Where's Your Ed At20 Hot39 phút1 ngày trướcAI

Let AI Burn

Bài viết cho rằng ngành AI đang là một bong bóng không bền vững, dựa trên tài trợ vòng tròn, quảng cáo thổi phồng và nhu cầu ảo. Tác giả lập luận rằng AI tạo sinh khác biệt hoàn toàn so với bong bóng Dot Com vì GPU không có giá trị tồn dư, nhu cầu LLM chủ yếu được tạo ra và trợ cấp, trong khi OpenAI/Anthropic đang tiêu tốn hàng trăm tỷ USD mà không có lộ trình sinh lời.

Những lập trình viên muốn tránh rơi vào "sự mê hoặc của công nghệ" và hiểu rõ về rủi ro tài chính, kỹ thuật cũng như thực tế thị trường khi xây dựng dự án AI lớn nên đọc bài này để tránh đầu tư vào những "bong bóng" không có cơ sở thực tế.

#ai