Scaling Model Evaluation at Pinterest with Ray (Part 4)

The End of AI Frontiers

Large language models remain far less efficient than biological brains at learning, representing knowledge, and planning, the post argues. A child hears roughly one token per second, reaching a billion tokens only after 31 years, while GPT-4-class models reportedly use four orders of magnitude more data. The Phi model series, trained on 10 trillion tokens, still trails GPT-4 along most axes. A Portia spider plans prey-catching behavior with a brain a million times smaller than a human's, and squirrels recall cached food after months, suggesting that existing models may be far less representationally and memory efficient.

PyTorch 2.15 tackles the 'one bad GPU' problem

PyTorch 2.15 ships a rewritten NCCL backend that stops a single failing GPU from forcing a full training restart. The new ProcessGroupNCCL allows only one communicator per process group during initialization, which by default eliminates the crosstalk that the old version's many communicators caused. A third-party orchestrator can now exclude a crashed or slow GPU and assign a replacement worker. A new 'flight recorder' captures operation snapshots for debugging stalls. The legacy backend remains as a rollback option but will be removed in 2.16, planned for early next year. The release also totals 3,117 commits from 583 contributors and includes parallel processing improvements for Apple gear and support for Nvidia's next-generation Blackwell GPUs.

How Anthropic Redesigned Source Control

In this article, we’ll look at the architecture behind Scion.

University libraries are being swarmed by AI bots, putting public access at risk

Academic libraries are fighting off swarms of data-scraping bots — that are slowing or crashing sites meant for students, researchers and the public — as AI companies continue hunting for content to feed their large language models.

Outbox Pattern in .NET With Postgres: Concurrent Workers vs the WAL

An API can save an order and crash before publishing the message that tells other services about it.

5 Event Driven Architecture Problems (And How to Avoid Them)

Event-driven architecture (EDA) phổ biến nhưng tiềm nhiều thách thức trong production environment. Vấn đề truy xuất lỗi (tracing) trở nên phức tạp khi sự kiện (event) đi qua nhiều service khác nhau, đòi hỏi hệ thống phân tích log tập trung như ELK stack. Hàng đợi tin hỏi (dead letter queues) dễ bị đầy nếu không implement validation logic kỹ càng, dẫn đến mất dữ kiện quan trọng. Sự không nhất quán cuối cùng (eventual consistency) gây race condition khi nhiều consumer xử lý cùng event đồng thời. Các EDA system cần thiết kế event schema versioning và comprehensive testing framework với Contract Testing để đảm bảo reliability khi số lượng service tăng lên.

Bài viết này giúp lập trình viên nhận diện và giải quyết các vấn đề phổ biến trong kiến trúc hướng sự kiện như tracing, dead letter queues, tính nhất quán cuối cùng và testing.

Build and Train a 25M Parameter LLM From Scratch on Your CPU

Bối cảnh: Bạn không cần cụm GPU khổng lồ để học cách AI hiện đại hoạt động. Nội dung video hướng dẫn xây dựng, pre-train và fine-tune một mô hình LLM 25 triệu parameter chỉ trên CPU. Nguyên nhân kỹ thuật: Video trình bày quy trình chi tiết từ đầu đến cuối với các công cụ như PyTorch, tạo tập dataset từ văn bản thuần túy. Hệ quả: Người xem sẽ có được kiến thức thực tế về cách LLM hoạt động mà không cần tài nguyên đắt đỏ. Điều đáng học: Dù quy mô nhỏ hơn các frontier model như GPT-4 hay Llama 2, quy trình này giúp hiểu nền tảng của deep learning trong NLP.

Bài hướng dẫn này giúp bạn xây dựng và huấn luyện một mô hình ngôn ngữ quy mô 25 triệu tham số ngay trên CPU mà không cần cluster GPU đắt đỏ.

Show HN: A decent text-to-image model trained for ~$20K (Apache 2.0 Weights)

2B-Parameter P-JiT (Apache 2.0)