Meta is set to begin production of its proprietary AI chip, Iris, in September. Designed for inference workloads like content ranking, recommendations, and generative AI across Facebook, Instagram, and WhatsApp, Iris expands Meta's MTIA program and aims to reduce dependence on third-party GPUs. Developed with Broadcom and manufactured by TSMC, the chip is part of a broader supply chain strategy that includes long-term agreements for high-bandwidth memory, flash storage, and networking equipment. Meta plans to release new MTIA chip variants every six months through 2027 and scale computing capacity from 7 gigawatts this year to 14 gigawatts by 2027, with capital expenditures projected between $125–$145 billion in 2026. Despite investor concerns about AI spending, Meta's stock rose roughly 8%, signaling Wall Street confidence in the vertical integration strategy.
Nguồn: https://thenewstack.io/meta-iris-ai-chip. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Dịch vụ bưu chính Italy (Poste Italiane) đang tham gia cuộc đua cơ sở hạ tầng AI quốc gia bằng cách tận dụng cổ phần tại Telecom Italia (TIM) và mạng lưới bưu cục, trung tâm xử lý thư tín sẵn có. Kế hoạch chuyển đổi các trung tâm xử lý thư cũ thành các node edge-computing và bổ sung trung tâm dữ liệu mới vào hạ tầng viễn thông của TIM, nhằm tránh phụ thuộc vào các hyperscaler Mỹ. Thách thức bao gồm vốn đầu tư, nguồn nhân lực kỹ thuật, yêu cầu làm mát và sự phức tạp trong tích hợp TIM vốn có lịch sử tài chính khó khăn.
Những lập trình viên muốn khám phá cách ứng dụng công nghệ AI trong hạ tầng thực tế, từ cơ sở hạ tầng vật lý đến việc tái sử dụng cơ sở hạ tầng truyền thống như bưu điện, sẽ tìm thấy những giải pháp sáng tạo và thách thức kỹ thuật mới trong chiến lược này.
AI ngành phải đạt doanh thu 3 nghìn tỷ USD vào năm 2026 để bù đắp khoản đầu tư 1,5 nghìn tỷ USD vào cơ sở hạ tầng AI. Nếu các hyperscaler (Google, Meta, Microsoft, Amazon) không đạt mục tiêu dòng tiền tự do vào 2028, nguy cơ suy thoái kinh tế toàn ngành công nghệ và lan rộng ra nền kinh tế rộng lớn hơn sẽ tăng cao. Bên cạnh đó, giá token giảm, các mô hình open-weight rẻ hơn đang được áp dụng rộng rãi, và mô hình mới nhất của OpenAI tiết kiệm 54% token khi lập trình — điều tốt cho người dùng nhưng có thể ảnh hưởng tiêu cực đến doanh thu của các công ty xây dựng hạ tầng AI.
Lập trình viên nên đọc bài này để hiểu cách AI đang thay đổi mô hình kinh doanh, từ việc tối ưu chi phí xử lý dữ liệu đến việc các công nghệ mới như mô hình mở rộng giá rẻ có thể làm thay đổi cách xây dựng và triển khai hệ thống AI trong tương lai.
Lựa chọn mô hình phù hợp là yếu tố quan trọng nhất ảnh hưởng đến chi phí và chất lượng của GenAI, chứ không phải cơ sở hạ tầng hay tinh chỉnh prompt. Bài viết đề xuất phương pháp đánh giá lặp lại: xác định ngưỡng độ chính xác tối thiểu cho tác vụ, sau đó tìm mô hình nhỏ nhất vượt qua ngưỡng đó. Kết quả benchmark cho thấy DeepSeek V4 Flash cung cấp chất lượng dịch thuật ngang bằng Claude Sonnet 4.6 nhưng chi phí đầu vào thấp hơn 27 lần; độ dài đầu ra (verbosity) có thể triệt tiêu lợi thế giá thành của các mô hình như GLM-5.2 và Qwen3-32B. Ngoài ra, bài viết nhấn mạnh không nên phụ thuộc hoàn toàn vào benchmark công khai do tình trạng bão hòa (MMLU) hay nhiễm dữ liệu (SWE-bench), mà nên đánh giá trên dữ liệu riêng.
Lập trình viên nên đọc bài này để tránh lãng phí chi phí và thời gian trong AI inference bằng cách chọn mô hình phù hợp nhất với yêu cầu thực tế của dự án, từ đó tối ưu hóa chất lượng và hiệu suất.
Phân tích chi phí sơ lược cho thấy suy luận (inference) AI thực sự sinh lời, với chi phí ước tính khoảng 1 USD cho mỗi triệu token đầu ra, thấp hơn nhiều so với mức giá 4,5 USD trở lên của các nhà cung cấp như OpenAI, qua đó đạt biên lợi nhuận gộp 70–80%. Suy luận AI có lợi nhuận, nhưng các phòng thí nghiệm AI như OpenAI và Anthropic sử dụng khoản lợi nhuận này để bù đắp chi phí đào tạo mô hình tốn kém.
Là người phát triển muốn tối ưu chi phí cho ứng dụng AI của mình, bài viết này giúp bạn hiểu rõ về lợi nhuận thực tế của quá trình inference AI, từ đó có thể xây dựng mô hình kinh doanh hiệu quả và tránh bỏ lỡ cơ hội tiết kiệm chi phí mà không phụ thuộc vào sự hỗ trợ từ các công ty lớn.
Snowflake cho phép doanh nghiệp nhập các mô hình AI tùy chỉnh hoặc mã nguồn mở từ Hugging Face thông qua tính năng BYOM, sử dụng trực tiếp qua hàm SQL AI_COMPLETE hoặc REST API. Tính năng này hỗ trợ linh hoạt cho các workload chuyên ngành, quản trị dữ liệu tốt hơn và chi phí hạ tầng GPU dự đoán được, hiện đang trong giai đoạn Private Preview.
Lập trình viên AI nên đọc bài này để khám phá cách tích hợp các mô hình AI cá nhân hoặc mở nguồn từ Hugging Face vào Snowflake một cách dễ dàng, giúp tối ưu hóa hiệu suất và quản lý chi phí cho các dự án chuyên sâu mà không cần thay đổi kiến trúc ứng dụng.
Khi chi phí suy luận AI giảm gần bằng không, các nhà nghiên cứu Berkeley đề xuất hệ thống dữ liệu phải thay đổi theo ba hướng: (1) tối ưu hóa truy vấn đa tác nhân, xử lý xấp xỉ và điều phối chủ động cho hàng nghìn truy vấn đồng thời; (2) xây dựng hạ tầng mới cho các nhóm tác nhân quản lý trạng thái chia sẻ, bộ nhớ có cấu trúc, chỉnh sửa đồng thời và phục hồi lỗi; (3) cho phép tác nhân tự động tạo hệ thống dữ liệu tùy chỉnh (OLAP, key-value) nhưng thách thức chính là xác minh tính đúng đắn khi thông số kỹ thuật không đầy đủ.
Lập trình viên nên đọc bài này để khám phá cách các hệ thống dữ liệu phải thích nghi với sự phát triển nhanh chóng của các hệ thống agent, từ cơ sở hạ tầng cho đến việc tự động hóa thiết kế hệ thống thông minh bằng AI gần miễn phí.
DSpark là framework giải mã speculative mới của DeepSeek, cải thiện hiệu suất inference LLM tới 60–85% trên DeepSeek-V4 mà không cần thay đổi model. Nó khắc phục hai nhược điểm chính của các phương pháp hiện tại: drafters autoregressive chậm và suffix decay ở drafters song song, bằng cách kết hợp semi-autoregressive generation và confidence-scheduled verification. DeepSeek cũng giới thiệu DeepSpec, framework mã nguồn mở cho speculative decoding.
Nếu bạn đang tìm cách tối ưu hóa hiệu suất xử lý ngôn ngữ tự nhiên cho ứng dụng AI của mình mà không cần thay đổi mô hình, DSpark sẽ là giải pháp mới nhất giúp bạn tiết kiệm thời gian và chi phí đáng kể.
Các nhà lãnh đạo từ Workato, Hippocratic AI và ISMG chia sẻ kinh nghiệm vận hành khối lượng lớn suy luận AI trong sản xuất, nhấn mạnh: hiệu suất suy giảm nhanh khi AI dùng trên 50 công cụ; độ trễ P99 gây nguy hiểm cho bệnh nhân trong ứng dụng giọng nói lâm sàng; AI không nên có quyền admin mà hoạt động như ủy quyền theo thời gian cho từng hành động; trì hoãn cấu trúc dữ liệu và quy trình trước khi áp dụng AI khiến doanh nghiệp tụt hậu 2 năm về mô hình vận hành. Nhóm thống nhất rằng mở rộng suy luận AI là vấn đề cơ sở hạ tầng và quản trị, không phải mô hình.
Những kinh nghiệm thực tế từ các đội phát triển AI ở quy mô lớn sẽ giúp bạn tránh những sai lầm gây tốn kém về thời gian và chi phí khi thiết kế hệ thống inference, từ đó tối ưu hóa hiệu suất và an toàn ngay từ giai đoạn xây dựng.