BigQuery's new AI.AGG() function lets you run natural-language instructions over millions of rows of unstructured or multimodal data using a single SQL query. The post covers practical use cases including analyzing Apache Spark system logs for hidden inefficiencies, discovering and applying product categories from text and image data using AI.AGG() combined with AI.CLASSIFY(), and handling multimodal inputs from Cloud Storage. Key technical details include how AI.AGG() manages LLM context windows via automatic multi-level batching, token usage considerations, model endpoint configuration (short-form vs. fully-qualified), NULL handling in STRUCT inputs, and error reporting via job statistics. The function is currently in preview and always returns a string output.
Nguồn: https://cloud.google.com/blog/products/data-analytics/deep-dive-into-bigquery-ai-agg-function. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Đội kỹ thuật của Gusto xây dựng bộ phân loại chuyển tiếp AI-sang-người cho hệ thống hỗ trợ khách hàng bằng cách bắt đầu với prompt LLM, sử dụng dữ liệu sản xuất để tạo dataset 3.500 lượt hội thoại, sau đó tinh chỉnh mô hình BERT nhẹ đạt 94% precision và 93% recall. Phương pháp LLM-đầu-tiên-sau-chuyên-biệt phù hợp cho quyết định ổn định, khối lượng lớn như phân loại intent, nhưng không hiệu quả với sinh văn bản mở hoặc quy tắc thay đổi.
Lập trình viên nên đọc bài này để hiểu cách chuyển từ việc sử dụng mô hình LLM trực tiếp sang xây dựng hệ thống chuyên biệt hiệu quả, đặc biệt là trong trường hợp phân loại quyết định cụ thể như phân luồng hỗ trợ khách hàng, giúp tối ưu hóa chi phí và tốc độ triển khai.
Target xây dựng hệ thống AI sinh ra để tối ưu dự báo chiến dịch marketing bằng cách truy xuất và xếp hạng các chiến dịch lịch sử tương tự. Pipeline đa giai đoạn sử dụng embeddings để nắm bắt ý nghĩa ngữ nghĩa từ metadata chiến dịch, vector similarity search để truy xuất ứng viên, và LLM để xếp hạng cũng như giải thích kết quả. Hệ thống này thay thế hệ thống rule-based cũ vốn đòi hỏi bảo trì thủ công và gặp khó khăn với định dạng chiến dịch thay đổi. Kết quả đánh giá đạt 75% độ phủ top-1 và 100% top-3 trên bộ dữ liệu thử nghiệm đa dạng. Hệ thống có vòng phản hồi tự động tinh chỉnh embeddings dựa trên dữ liệu hiệu suất chiến dịch đã hoàn thành, đồng thời các nhà phân tích xem xét đầu ra của mô hình trước khi đưa vào quy trình dự báo.
Lập trình viên nên đọc bài này để hiểu cách xây dựng một hệ thống AI tích hợp vector embeddings và LLM để tự động hóa và nâng cao hiệu quả của các pipeline dự báo marketing bằng cách thay thế quy trình thủ công và quy tắc cứng nhắc.
Nghiên cứu định tính từ nhóm Rust về cách các nhà phát triển học ngôn ngữ Rust thông qua …
Khi triển khai workflows agentic dựa trên LLM qua API, thách thức không còn là độ chính xác mà là đảm bảo đầu ra ổn định dưới các ràng buộc về thời gian, chi phí và token-rate. Giải pháp chủ yếu là cắt bỏ latency tail bằng cách gửi song song các yêu cầu hedge (p95) thay vì chờ đợi, giúp giảm p99 từ ~60s xuống ~25s trong dữ liệu thực tế. Cần lưu ý phân biệt slowness tạm thời, khối lượng công việc lớn hay câu trả lời sai để điều chỉnh model phù hợp, đồng thời tránh tiêu tốn TPM budget lặp lại.
Lập trình viên phải đọc bài này để hiểu cách tối ưu hóa các workflow tự động hóa dựa trên LLM bằng cách xử lý không chỉ là độ chính xác mà là sự đáng tin cậy trong các điều kiện cạnh tranh về thời gian, chi phí và tốc độ token, đặc biệt khi ứng dụng phải hoạt động liên tục trước API khách hàng.
Phân tích chi phí sơ lược cho thấy suy luận (inference) AI thực sự sinh lời, với chi phí ước tính khoảng 1 USD cho mỗi triệu token đầu ra, thấp hơn nhiều so với mức giá 4,5 USD trở lên của các nhà cung cấp như OpenAI, qua đó đạt biên lợi nhuận gộp 70–80%. Suy luận AI có lợi nhuận, nhưng các phòng thí nghiệm AI như OpenAI và Anthropic sử dụng khoản lợi nhuận này để bù đắp chi phí đào tạo mô hình tốn kém.
Là người phát triển muốn tối ưu chi phí cho ứng dụng AI của mình, bài viết này giúp bạn hiểu rõ về lợi nhuận thực tế của quá trình inference AI, từ đó có thể xây dựng mô hình kinh doanh hiệu quả và tránh bỏ lỡ cơ hội tiết kiệm chi phí mà không phụ thuộc vào sự hỗ trợ từ các công ty lớn.

postgres-lsp là một triển khai mới theo giao thức Language Server (LSP) dành cho SQL và PL/pgSQL của PostgreSQL, sử dụng tree-sitter-postgres. Nó cung cấp các tính năng IDE như chẩn đoán lỗi, gợi ý ngữ nghĩa, điều hướng định nghĩa, định vị tham chiếu, hoàn thành thông minh, hỗ trợ chữ ký, đổi tên, hành động mã hóa và định dạng SQL với nhiều kiểu cài đặt sẵn.
Lập trình viên PostgreSQL nên đọc bài này để khám phá cách postgres-lsp nâng cao hiệu suất IDE với các tính năng như hoàn thành ngữ cảnh, định nghĩa và tham chiếu nhanh, và định dạng SQL theo nhiều phong cách chuyên nghiệp, thay vì phụ thuộc vào các công cụ cũ dựa trên regex.
Mô hình AI Mythos của Anthropic đã phát hiện lỗ hổng trong các hệ thống bí mật của chính phủ Mỹ trong một cuộc thử nghiệm kiểm tra đỏ có kiểm soát, chứ không phải do tấn công từ bên ngoài. Kết quả này nhấn mạnh khả năng của Mythos trong việc tìm ra hàng nghìn lỗ hổng zero-day trên các hệ điều hành và trình duyệt lớn, dù chính phủ Mỹ từng hạn chế công khai mô hình này sau một vụ jailbreak riêng.
Những phát hiện về khả năng phát hiện lỗ hổng trong hệ thống an ninh quốc gia của Mỹ cho thấy AI mạnh mẽ như Mythos có thể trở thành công cụ quan trọng trong bảo mật, nhưng cũng đặt ra thách thức về kiểm soát và ứng dụng công bằng—là vấn đề cần thảo luận để xây dựng hệ sinh thái an toàn và minh bạch cho công nghệ AI.
LLM khiến người dùng kiệt sức vì đòi hỏi tương tác xã hội (năng lượng tinh thần như khi giao tiếp với người) nhưng không đem lại phần thưởng ngược lại như học hỏi, thử thách hay cảm hứng. Khác với công cụ truyền thống trở thành phần mở rộng của cơ thể nhờ tính nhất quán và tốc độ, LLM buộc người dùng phải đàm phán, thuyết phục và chủ yếu trả về nhiều code, test cùng lời bào chữa.
Một lập trình viên nên đọc bài này để hiểu cách phân biệt giữa công cụ hiệu quả và những tương tác tiêu tốn năng lượng mà không mang lại sự tiến bộ thực sự trong việc phát triển kỹ năng và hiệu suất code.