Broadcom Announces VMware AI Factory, Enabling Faster Time to Production AI and Greater Control Over AI Tokenomics

ByteByteGo2 Hot14 min6 h agoAI

What Happens Inside an AI Chatbot Between Enter and the First Word?

Khi người dùng nhấn Enter, tin nhắn được chuyển thành chuỗi token qua bộ tokenizer và được đưa vào mô hình transformer của chatbot. Trong mỗi lớp transformer, các token trải qua lớp attention tự‑hợp để thu thập ngữ cảnh và lớp feed‑forward để biến đổi biểu diễn, quá trình này lặp lại qua hàng chục đến hàng trăm lớp tùy thuộc vào kích thước mô hình (ví dụ 7B hoặc 70B tham số). Sau khi hoàn thành các lớp, vector ẩn cuối cùng được chiếu vào ma trận logits để xác suất của mỗi từ trong từ vựng được tính, sau đó một chiến lược lấy mẫu như top‑k hoặc nucleus sampling chọn token đầu tiên để xuất ra. Thời gian trễ giữa Enter và từ đầu tiên chủ yếu phụ thuộc vào thời gian tính toán attention (bậc hai theo độ dài chuỗi) và băng thông bộ nhớ khi truy cập trọng số và KV cache, vì vậy các mô hình lớn thường gặp độ trễ đáng kể trên phần cứng không tối ưu. Từ đây, lập trình viên có thể học cách giảm latency bằng cách lượng tử hóa mô hình, sử dụng KV cache hiệu quả, hoặc chọn kiến trúc mô hình cân bằng giữa chất lượng và tốc độ xử lý.

Bài này giải thích chi tiết quá trình xử lý tin nhắn trong AI chatbot giúp lập trình viên hiểu nguyên lý hoạt động bên dưới.

#llm #nlp #ai-inference Source

FireUp16 Hot4 min5 d agoAI

Keycloak CVE-2026-18963: password reset without email or auth

Keycloak là nền tảng quản lý danh tính và truy cập mã nguồn mở phổ biến trong các hệ thống doanh nghiệp. CVE-2026-18963 với điểm CVSS 9.1 xuất hiện vì endpoint reset mật khẩu không yêu cầu xác thực người dùng cũng như không kiểm tra việc xác minh qua email. Do đó, kẻ tấn công không cần đăng nhập có thể gửi yêu cầu đặt lại mật khẩu cho bất kỳ tài khoản nào và lấy lại quyền truy cập hoàn toàn. Hệ quả là khả năng chiếm đoạt tài khoản người dùng rộng rãi, dẫn đến rò rỉ dữ liệu và phá hoại dịch vụ. Bài học là luôn xác thực và xác thực lại các thao tác nhạy cảm như reset mật khẩu, đồng thời cập nhật Keycloak lên phiên bản 26.7.2 hoặc mới hơn để vá lỗi này.

Lập trình viên nên đọc bài này để biết lỗ hổng mật khẩu nghiêm trọng trong Keycloak và cập nhật bản vá bảo vệ hệ thống.

#security #cloud #infrastructure Source

XDA Developers77 Hot3 min1 mo agoAI

I ditched half my subscriptions, all because of one hobby

Tôi đã hủy bỏ một nửa số đăng ký phần mềm vì tự lưu trữ (self-hosting) khiến nhiều dịch vụ trở nên không cần thiết.

Lập trình viên nên đọc bài này để tìm hiểu cách tự chủ hóa công cụ công nghệ bằng cách tự host các dịch vụ, giúp tiết kiệm chi phí và tăng sự kiểm soát về dữ liệu, đặc biệt trong môi trường phát triển mở và bảo mật quan trọng.

#cloud #docker #self-hosting Source

GitHub Changelog42 Hot1 min1 mo agoAI

GitHub Models is now retired

GitHub Models đã ngừng hoạt động hoàn toàn kể từ ngày 30 tháng 7 năm 2026, bao gồm playground, danh mục model, API inference và tính năng BYOK. Nhà phát triển có thể chuyển sang Microsoft Foundry để truy cập danh mục model rộng hơn hoặc GitHub Copilot cho các workflow AI trực tiếp trên GitHub.

Lập trình viên nên đọc bài này để cập nhật cách chuyển đổi sang các công cụ AI hiện đại như Microsoft Foundry hoặc GitHub Copilot để tiếp tục phát triển dự án hiệu quả mà không bị mất khả năng sử dụng các công nghệ mới nhất.

#github #azure #ai-inference Source

DigitalOcean Community1 Hot14 min4 d agoAI

Most Teams Move to Dedicated Inference Too Early

Nhiều đội chuyển từ inference serverless sang dedicated ngay sau khi mô hình đạt mức độ ổn định, hy vọng giảm latency và kiểm soát chi phí tốt hơn. Nguyên nhân kỹ thuật là họ đánh giá sai mức độ lưu lượng thực tế, thường dựa trên thử nghiệm bursts thay vì lưu lượng trung bình dài hạn, dẫn đến việc cung cấp quá nhiều GPU hoặc instances. Hệ quả là mức sử dụng tài nguyên thường dưới 30 %, chi phí mỗi inference tăng lên gấp 2‑3 lần so với việc giữ nguyên serverless hoặc dùng auto‑scaling vừa đủ. Điều đáng học là trước khi chuyển sang dedicated, cần đo lường thực tế các chỉ số như requests per second, latency percentile và mức využ dụng GPU trong thời gian ít nhất một tuần, rồi áp dụng chính sách scaling dựa trên ngưỡng utilization (ví dụ 60‑80 %). Khi lưu lượng ổn định và mức wykorzystание vượt qua ngưỡng trên mới cân nhắc chuyển sang dedicated inference để tối ưu chi phí và hiệu năng.

Bài viết này giúp bạn tránh sai lầm phổ biến khi di chuyển sang suy luận chuyên dụng quá sớm, tiết kiệm chi phí và tối ưu hóa hiệu suất.

#serverless #finops #digitalocean Source

DigitalOcean Community1 Hot25 min4 d agoAI

Cold Start Latency on Serverless Inference: What Actually Happens in Those Few Seconds

Khi chạy mô hình học sâu trên nền tảng serverless như AWS Lambda, Azure Functions hoặc Google Cloud Run, mỗi lần gọi đầu tiên sẽ trải qua giai đoạn cold start khiến latency tăng đáng kể. Latency chủ yếu xuất phát từ thời gian tải image container, giải nén và khởi tạo runtime, đồng thời phải load mô hình từ bộ lưu trữ (S3, Blob Storage) vào RAM, và thời gian này tỷ lệ thuận với kích thước mô hình – ví dụ một mô hình 2 GB có thể cần 3‑5 giây để load. Hệ quả là các request đầu tiên gặp trễ từ vài trăm miligiây (đối với hàm nhẹ) tới vài giây (đối với mô hình lớn), làm giảm trải nghiệm người dùng và gây khó khăn trong các ứng dụng cần phản hồi real‑time như chatbot hoặc xử lý video. Các tối ưu như giảm kích thước mô hình qua quantization hoặc pruning, sử dụng lớp cache /tmp hoặc EFS, bật tính năng provisioned concurrency hoặc AWS Lambda SnapStart, và chọn runtime dựa trên hình ảnh cơ sở nhỏ (distroless, Alpine) có thể cắt giảm cold start xuống dưới 500 ms cho hầu hết các trường hợp. Kết hợp các kỹ thuật trên không chỉ giảm latency mà còn tiết kiệm chi phí do giảm thời gian thực thi và số lần khởi tạo container.

Bài viết giải thích rõ ràng về nguyên nhân gây độ trễ lúc khởi đầu và cách tối ưu hiệu suất cho serverless inference.

#serverless #gpu #digitalocean Source

DigitalOcean Community1 Hot14 min4 d agoAI

GraphRAG Is an Inference Problem, Not a Database Problem

GraphRAG được ra đời như một phương pháp kết hợp đồ thị kiến thức với Retrieval‑Augmented Generation, nhưng nhiều đội ngũ vẫn lầm tưởng đây là vấn đề chọn cơ sở dữ liệu. Bài viết chứng minh rằngภารado việc chính của GraphRAG nằm ở giai đoạn suy luận của mô hình LLM – thời gian tạo token và truy xuất embedding chiếm hơn 80% latency, trong khi truy vấn đồ thị chỉ chiếm phần nhỏ. Vì vậy, việc đầu tư vào cơ sở dữ liệu đồ thị mạnh mẽ không cải thiện đáng kể hiệu suất; thay vào đó, tối ưu hoá batch inference, quantization và cache kết quả retrieval mới là chìa khóa để giảm chi phí và tăng throughput. Các nhóm phát triển nên tập trung vào kiến trúc suy luận (ví dụ: sử dụng vLLM hoặc TensorRT‑LLM) và thiết kế pipeline reference được cung cấp trong bài, thay vì bỏ thời gian cho việc chọn hoặc tối ưu hoá cơ sở dữ liệu đồ thị. Bài cũng cung cấp con số benchmark cụ thể: trên GPT‑4 Turbo, latency trung bình 180 ms/ request và chi phí khoảng $0,0003 mỗi token khi áp dụng các tối ưu hoá trên.

Bài viết này giúp lập trình viên hiểu GraphRAG là vấn đề suy luận LLM chứ không phải lựa chọn cơ sở dữ liệu, qua đó tiết kiệm chi phí và thiết kế kiến trúc hiệu quả hơn.

#vector-search #digitalocean #ai-inference Source

marmelab1 Hot14 min4 d agoAI

Cutting the Coding Agent Bill: 5 Plugins Under Test

Đội đang đo lường chi phí sử dụng coding agent khi tích hợp các plugin mở rộng. Nguyên nhân kỹ thuật là chi phí chủ yếu do số lần đọc cache, không phải do lượng mã được sinh ra. Trong thử nghiệm với năm plugin (Headroom, RTK, Ponytail, Caveman, Graphify), chỉ hai plugin khiến chỉ số đọc cache thay đổi đáng kể. Hệ quả là việc chọn plugin không tối ưu có thể giữ chi phí ở mức cao, trong khi hai plugin hiệu quả có thể giảm chi phí đọc cache và do đó giảm tổng chi phí agent. Điều đáng học là khi đánh giá plugin cho coding agent cần tập trung đo lường tác động lên cache reads thay vì chỉ xem lượng mã sinh ra.

Bài viết tiết lộ hiệu quả thực tế của 5 plugin AI trong việc giảm chi phí mã hóa, giúp lập trình viên chọn lựa giải pháp tiết kiệm nhất.

#ai-agent #claude #ai-inference Source

Broadcom Announces VMware AI Factory, Enabling Faster Time to Production AI and Greater Control Over AI Tokenomics

Recommended for you

Bình luận

What Happens Inside an AI Chatbot Between Enter and the First Word?

Keycloak CVE-2026-18963: password reset without email or auth

I ditched half my subscriptions, all because of one hobby

GitHub Models is now retired

Most Teams Move to Dedicated Inference Too Early

Cold Start Latency on Serverless Inference: What Actually Happens in Those Few Seconds

GraphRAG Is an Inference Problem, Not a Database Problem

Cutting the Coding Agent Bill: 5 Plugins Under Test

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads