Inside Thinking Machines’ Interaction Models

The AI Industry Is Losing

Ngành AI đang đối mặt với khủng hoảng tài chính khi các hyperscalers đổ hàng nghìn tỷ USD vào hạ tầng data center mà không thu được lợi nhuận khả thi. OpenAI và Anthropic được xem là những "chi nhánh lỗ" của Big Tech, dựa vào hàng trăm tỷ USD compute được trợ giá, trong khi doanh thu AI thực tế vẫn rất hạn chế.

Là lập trình viên muốn xây dựng sự nghiệp bền vững và tránh rủi ro tài chính trong một thị trường AI đang thay đổi nhanh chóng, bài viết này giúp bạn hiểu rõ về những thực tế tài chính và chiến lược thực tế của các công ty lớn, từ đó đưa ra quyết định về sự đầu tư và tương lai công việc của mình.

Featuring Every Eval Ever Results on Hugging Face Model Pages

Dự án Every Eval Ever (EEE) của EvalEval Coalition giờ đây tích hợp với Hugging Face Community Evals, chuẩn hóa báo cáo đánh giá mô hình AI thông qua schema JSON duy nhất, giúp hiển thị điểm số trên model card và bảng xếp hạng benchmark kèm theo nguồn dữ liệu. Hệ thống đã lưu trữ ~229.000 kết quả đánh giá từ 31 định dạng báo cáo khác nhau.

Lập trình viên phát triển mô hình AI nên đọc để hiểu cách chuẩn hóa và truy xuất chính xác kết quả đánh giá, tránh sai lệch do thiếu thông tin về thiết lập chạy, từ đó cải thiện chất lượng mô hình và xây dựng các mô hình card công khai minh bạch hơn.

Audit AI agent requests, logs, and access with Aperture

Aperture của Tailscale giám sát và kiểm soát truy cập hoạt động của AI agent bằng cách gắn định danh mật mã cho mỗi yêu cầu LLM, ghi lại toàn bộ vòng đời request-response (bao gồm tool use và token counts), và lưu logs vào các đích cấu hình như S3-compatible storage. Hệ thống quản lý quyền truy cập logs theo mặc định từ chối, đồng thời cho phép quản trị viên thiết lập rào cản bảo mật trước khi yêu cầu rời khỏi mạng (như loại bỏ PII, chặn theo chính sách, giới hạn chi tiêu theo người dùng/agent).

Lập trình viên nên đọc bài này để hiểu cách bảo mật và quản lý chi tiết hoạt động của các ứng dụng AI trong môi trường phát triển, từ việc theo dõi yêu cầu, logs đến kiểm soát quyền truy cập và phòng ngừa rủi ro liên quan đến dữ liệu nhạy cảm.

The many journeys of learning Rust

Nghiên cứu định tính từ nhóm Rust về cách các nhà phát triển học ngôn ngữ Rust thông qua …

From Prompt to Classifier: A Production Case Study

Đội kỹ thuật của Gusto xây dựng bộ phân loại chuyển tiếp AI-sang-người cho hệ thống hỗ trợ khách hàng bằng cách bắt đầu với prompt LLM, sử dụng dữ liệu sản xuất để tạo dataset 3.500 lượt hội thoại, sau đó tinh chỉnh mô hình BERT nhẹ đạt 94% precision và 93% recall. Phương pháp LLM-đầu-tiên-sau-chuyên-biệt phù hợp cho quyết định ổn định, khối lượng lớn như phân loại intent, nhưng không hiệu quả với sinh văn bản mở hoặc quy tắc thay đổi.

Lập trình viên nên đọc bài này để hiểu cách chuyển từ việc sử dụng mô hình LLM trực tiếp sang xây dựng hệ thống chuyên biệt hiệu quả, đặc biệt là trong trường hợp phân loại quyết định cụ thể như phân luồng hỗ trợ khách hàng, giúp tối ưu hóa chi phí và tốc độ triển khai.

Inside Target’s LLM-Based System for Semantic Matching in Marketing Forecast Pipelines

Target xây dựng hệ thống AI sinh ra để tối ưu dự báo chiến dịch marketing bằng cách truy xuất và xếp hạng các chiến dịch lịch sử tương tự. Pipeline đa giai đoạn sử dụng embeddings để nắm bắt ý nghĩa ngữ nghĩa từ metadata chiến dịch, vector similarity search để truy xuất ứng viên, và LLM để xếp hạng cũng như giải thích kết quả. Hệ thống này thay thế hệ thống rule-based cũ vốn đòi hỏi bảo trì thủ công và gặp khó khăn với định dạng chiến dịch thay đổi. Kết quả đánh giá đạt 75% độ phủ top-1 và 100% top-3 trên bộ dữ liệu thử nghiệm đa dạng. Hệ thống có vòng phản hồi tự động tinh chỉnh embeddings dựa trên dữ liệu hiệu suất chiến dịch đã hoàn thành, đồng thời các nhà phân tích xem xét đầu ra của mô hình trước khi đưa vào quy trình dự báo.

Lập trình viên nên đọc bài này để hiểu cách xây dựng một hệ thống AI tích hợp vector embeddings và LLM để tự động hóa và nâng cao hiệu quả của các pipeline dự báo marketing bằng cách thay thế quy trình thủ công và quy tắc cứng nhắc.

AI inference is obviously profitable

Phân tích chi phí sơ lược cho thấy suy luận (inference) AI thực sự sinh lời, với chi phí ước tính khoảng 1 USD cho mỗi triệu token đầu ra, thấp hơn nhiều so với mức giá 4,5 USD trở lên của các nhà cung cấp như OpenAI, qua đó đạt biên lợi nhuận gộp 70–80%. Suy luận AI có lợi nhuận, nhưng các phòng thí nghiệm AI như OpenAI và Anthropic sử dụng khoản lợi nhuận này để bù đắp chi phí đào tạo mô hình tốn kém.

Là người phát triển muốn tối ưu chi phí cho ứng dụng AI của mình, bài viết này giúp bạn hiểu rõ về lợi nhuận thực tế của quá trình inference AI, từ đó có thể xây dựng mô hình kinh doanh hiệu quả và tránh bỏ lỡ cơ hội tiết kiệm chi phí mà không phụ thuộc vào sự hỗ trợ từ các công ty lớn.