Scaling to Thousands of Users: AI Gateways, Token Limits, and Publishing to Teams

Microsoft made $10bn from OpenAI last quarter, 11% of its revenue

OpenAI revenue hit $10bn for Microsoft. Nadella says relying on a few big buyers is ‘not a business as far as I’m concerned’.

Box Mount now runs in Vercel Sandbox

Use Box Mount to sync Box files with Vercel Sandbox so agents can read and write them through the filesystem. Box Mount access requires Box's private preview.

The platform approach to becoming Frontier

Microsoft đang thúc đẩy chiến lược "Frontier Transformation" trên nền tảng Copilot, Microsoft IQ và Agent 365, giúp các doanh nghiệp đạt hiệu quả vượt trội. Volkswagen đã triển khai Copilot cho hơn 330,000 nhân viên, trong khi Fujitsu sử dụng agent tự động hóa tới 75% phản hồi ban đầu cho hệ thống xử lý gần 300,000 yêu cầu mỗi năm. Công ty KOHLER cải thiện tốc độ phát hành code 25% và giảm lỗi 75% bằng GitHub Copilot, với hơn 3,000 agent được tạo ra. Docusign xử lý hơn một triệu tài liệu mỗi ngày với hiệu suất gấp 8 lần và chi phí AI thấp hơn 90%, trong khi Truist quản lý hơn 13,000 AI agent qua Agent 365.

Bài viết này giúp lập trình viên hiểu cách các doanh nghiệp lớn triển khai thành công AI và automation để nâng cao hiệu suất làm việc.

Locking Down the AI Office: Identity, Private Networks, and Guardrails in Foundry

Trong bối cảnh triển khai AI như Foundry, nhiều tổ chức mắc lỗi bảo mật cơ bản khi cung cấp quyền truy cập không kiểm soát. Nguyên nhân kỹ thuật nằm ở việc sử dụng shared anonymous login và master key cho toàn hệ thống mà không có cơ chế giám sát. Hệ quả là dữ liệu nhạy cảm có thể bị sao chép qua USB hoặc truy cập trái phép như trường hợp contractor được cấp quyền truy cập tất cả server room. Điều đáng học là việc triển khai Identity Management, Private Networks và Guardrails là bắt buộc để kiểm soát truy cập AI, tương tự như cách bảo vệ tòa nhà vật lý.

Bài viết này cung cấp hướng dẫn thiết yếu về bảo mật AI trong Foundry, giúp ngăn chặn rủi ro khi triển khai các hệ thống trí tuệ nhân tạo không được kiểm soát đúng cách.

Respan spent two years building on LiteLLM. One upgrade made it start over.

Respan đã đầu tư hai năm để phát triển trên nền tảng LiteLLM trước khi quyết định xây dựng lại AI gateway bằng Rust với một lõi plugin nhỏ. Sau khi áp dụng 100,000 dòng vá lỗi cho LiteLLM, team nhận thấy kiến trúc cũ không còn phù hợp. Việc nâng cấp khiến Respan phải bắt đầu lại từ đầu với hệ thống mới. Custom plugins trong Rust vẫn đòi hỏi người dùng phải tự biên dịch code riêng. Bài viết cung cấp bài học giá trị về việc cân nhắc tái kiến trúc khi dự án phát triển quá phức tạp.

Bài viết tiết lộ bài học đắt giá về tầm quan trọng của việc lựa chọn kiến trúc linh hoạt khi xây dựng hệ thống AI gateway lâu dài.

GitHub Models is now retired

GitHub Models đã ngừng hoạt động hoàn toàn kể từ ngày 30 tháng 7 năm 2026, bao gồm playground, danh mục model, API inference và tính năng BYOK. Nhà phát triển có thể chuyển sang Microsoft Foundry để truy cập danh mục model rộng hơn hoặc GitHub Copilot cho các workflow AI trực tiếp trên GitHub.

Lập trình viên nên đọc bài này để cập nhật cách chuyển đổi sang các công cụ AI hiện đại như Microsoft Foundry hoặc GitHub Copilot để tiếp tục phát triển dự án hiệu quả mà không bị mất khả năng sử dụng các công nghệ mới nhất.

Fine-Tuning Qwen3-8B with Tinker: From 50% to 76% Accuracy, and Burning Through My Budget

Tác giả đã fine-tune mô hình Qwen3-8B với kỹ thuật Tinker, tăng độ chính xác từ 50% lên 76% trên dataset của mình. Quá trình này sử dụng parameter-efficient fine-tuning (PEFT) với 8-bit quantization để giảm chi phí tính toán. Tuy nhiên, tác giả đã tiêu hết ngân sách cloud computing (khoảng 200 USD) chỉ sau vài lần thử nghiệm. Bài viết cung cấp bài học thực tế về cân bằng giữa hiệu năng mô hình và chi phí tính toán khi triển khai AI.

Bài viết chia sẻ kinh nghiệm thực tế tối ưu mô hình Qwen3-8B với Tinker giúp tăng độ chính xác đáng kể từ 50% lên 76%.

The AI Bill is coming

Bối cảnh: Với sự phát triển chóng mặt của AI, chi phí training model AI đang tăng lên theo cấp số nhân. Nguyên nhân kỹ thuật: Wendell giải thích chi phí tăng cao do cần nhiều GPU hơn, memory cao hơn và thời gian training kéo dài hơn. Hệ quả: Điều này khiến các công ty gặp khó khăn trong việc mở rộng quy mô AI. Điều đáng học: Bốn công cụ giảm chi phí đơn vị lên đến 90% gồm MLflow, Photon, Delta Lake và Databricks AI Platform.

Bài này giúp lập trình viên hiểu rõ cách giảm chi phí AI coding lên đến 90% thông qua bốn công cụ then chốt.