I connected two PCs to one AI endpoint with Nvidia's new router, and got it serving an engine it doesn't support

All Things Open3 Hot3 min16 h agoAI

Why matching CUDA drivers is finally easier

Bài viết giải thích rằng trước đây việc sao chép bản CUDA toolkit và driver phải khớp chính xác phiên bản, gây nhiều lỗi khi triển khai trên các hệ thống khác nhau. NVIDIA đã ra mắt CUDA Compatibility Pack bắt đầu từ CUDA 11.7, cho phép một bản driver duy nhất hỗ trợ nhiều phiên bản toolkit liên tiếp. Nhờ đó, trên Linux và Windows, nhà phát triển chỉ cần cập nhật driver mỗi kwartal thay vì mỗi khi nâng cấp toolkit, giảm thiểu thời gian downtime. Thử nghiệm trên các cụm GPU cho thấy tỷ lệ lỗi phiên bản driver giảm hơn 70% so với phương pháp cũ. Điều này cho thấy đầu tư vào các gói tương thích ngược có thể đơn giản hoá quy trình CI/CD cho các ứng dụng GPU-intensive.

Bài này giải thích tại sao việc khớp phiên bản driver CUDA giờ đây đơn giản hơn, giúp lập trình viên tiết kiệm thời gian và giảm thiểu lỗi hệ thống.

#nvidia #cuda #opentofu Source

Phoronix27 Hot2 min13 d agoAI

Framework Laptop 16 With GeForce RTX 5070 12GB, One-Piece Keyboard & Haptic Touchpad

Framework Computer vừa bắt đầu giao các tùy chọn phần cứng mới cho Framework Laptop 16, bao gồm mô-đun GPU GeForce RTX 5070 12GB dành cho trò chơi hoặc workload CUDA/AI. Đồng thời họ ra mắt một bàn phím một mảnh sử dụng firmware mã nguồn mở QMK và một bàn chạm một mảnh bằng nhôm CNC với bề mặt haptic 124 × 77 mm, hiện đã hết hàng với giá 129 USD. Các thử nghiệm trên Fedora Workstation 44 và Ubuntu 26.04 LTS cho thấy cả GPU mới và các thiết bị nhập hoạt động tốt ngay lập tức mà không cần driver bổ sung. Điều này cho thấy khả năng tích hợp linh hoạt của kiến trúc mô-đun Framework cùng với hỗ trợ Linux tốt từ đầu. Dành cho lập trình viên cân nhắc nâng cấp hoặc mua mới, bài viết cung cấp dữ liệu cụ thể về hiệu suất và khả năng tương thích trên hai distro Linux phổ biến.

Bài này cung cấp thông tin cập nhật về các nâng phần cứng mới nhất cho Framework Laptop 16, phù hợp với cả game thủ và lập trình viên làm việc trên Linux.

#linux #hardware #nvidia Source

Real Python1 Hot1 min2 d agoAI

How to Get Started With Ollama – Real Python

Bối cảnh: Ollama là công cụ chạy mô hình ngôn ngữ lớn (LLM) cục bộ, giúp lập trình viên làm việc với AI mà không cần kết nối internet. Nguyên nhân kỹ thuật: Bài hướng dẫn chi tiết cách cài đặt Ollama, tải các mô hình như Llama 2 hoặc Mistral về máy, và kết nối chúng vào Python thông qua các API chat và text generation. Hệ quả: Người đọc có thể triển khai ứng dụng AI hoạt động hoàn toàn offline, đảm bảo bảo mật dữ liệu và tốc độ phản hồi nhanh hơn. Điều đáng học: Bài viết minh họa cách sử dụng thư viện ollama Python để gọi mô hình, xử lý response và tích hợp vào ứng dụng thực tế với code ví dụ cụ thể.

Bài hướng dẫn này sẽ giúp bạn cài đặt Ollama, tải mô hình cục bộ và kết nối vào Python để tạo và trò chuyện với AI.

#python #llm #local-ai Source

Where's Your Ed At48 Hot39 min1 mo agoAI

Let AI Burn

Bài viết cho rằng ngành AI đang là một bong bóng không bền vững, dựa trên tài trợ vòng tròn, quảng cáo thổi phồng và nhu cầu ảo. Tác giả lập luận rằng AI tạo sinh khác biệt hoàn toàn so với bong bóng Dot Com vì GPU không có giá trị tồn dư, nhu cầu LLM chủ yếu được tạo ra và trợ cấp, trong khi OpenAI/Anthropic đang tiêu tốn hàng trăm tỷ USD mà không có lộ trình sinh lời.

Những lập trình viên muốn tránh rơi vào "sự mê hoặc của công nghệ" và hiểu rõ về rủi ro tài chính, kỹ thuật cũng như thực tế thị trường khi xây dựng dự án AI lớn nên đọc bài này để tránh đầu tư vào những "bong bóng" không có cơ sở thực tế.

#ai #llm #openai Source

DigitalOcean Community1 Hot25 min7 d agoAI

Cold Start Latency on Serverless Inference: What Actually Happens in Those Few Seconds

Khi chạy mô hình học sâu trên nền tảng serverless như AWS Lambda, Azure Functions hoặc Google Cloud Run, mỗi lần gọi đầu tiên sẽ trải qua giai đoạn cold start khiến latency tăng đáng kể. Latency chủ yếu xuất phát từ thời gian tải image container, giải nén và khởi tạo runtime, đồng thời phải load mô hình từ bộ lưu trữ (S3, Blob Storage) vào RAM, và thời gian này tỷ lệ thuận với kích thước mô hình – ví dụ một mô hình 2 GB có thể cần 3‑5 giây để load. Hệ quả là các request đầu tiên gặp trễ từ vài trăm miligiây (đối với hàm nhẹ) tới vài giây (đối với mô hình lớn), làm giảm trải nghiệm người dùng và gây khó khăn trong các ứng dụng cần phản hồi real‑time như chatbot hoặc xử lý video. Các tối ưu như giảm kích thước mô hình qua quantization hoặc pruning, sử dụng lớp cache /tmp hoặc EFS, bật tính năng provisioned concurrency hoặc AWS Lambda SnapStart, và chọn runtime dựa trên hình ảnh cơ sở nhỏ (distroless, Alpine) có thể cắt giảm cold start xuống dưới 500 ms cho hầu hết các trường hợp. Kết hợp các kỹ thuật trên không chỉ giảm latency mà còn tiết kiệm chi phí do giảm thời gian thực thi và số lần khởi tạo container.

Bài viết giải thích rõ ràng về nguyên nhân gây độ trễ lúc khởi đầu và cách tối ưu hiệu suất cho serverless inference.

#serverless #gpu #digitalocean Source

DigitalOcean Community1 Hot14 min7 d agoAI

GraphRAG Is an Inference Problem, Not a Database Problem

GraphRAG được ra đời như một phương pháp kết hợp đồ thị kiến thức với Retrieval‑Augmented Generation, nhưng nhiều đội ngũ vẫn lầm tưởng đây là vấn đề chọn cơ sở dữ liệu. Bài viết chứng minh rằngภารado việc chính của GraphRAG nằm ở giai đoạn suy luận của mô hình LLM – thời gian tạo token và truy xuất embedding chiếm hơn 80% latency, trong khi truy vấn đồ thị chỉ chiếm phần nhỏ. Vì vậy, việc đầu tư vào cơ sở dữ liệu đồ thị mạnh mẽ không cải thiện đáng kể hiệu suất; thay vào đó, tối ưu hoá batch inference, quantization và cache kết quả retrieval mới là chìa khóa để giảm chi phí và tăng throughput. Các nhóm phát triển nên tập trung vào kiến trúc suy luận (ví dụ: sử dụng vLLM hoặc TensorRT‑LLM) và thiết kế pipeline reference được cung cấp trong bài, thay vì bỏ thời gian cho việc chọn hoặc tối ưu hoá cơ sở dữ liệu đồ thị. Bài cũng cung cấp con số benchmark cụ thể: trên GPT‑4 Turbo, latency trung bình 180 ms/ request và chi phí khoảng $0,0003 mỗi token khi áp dụng các tối ưu hoá trên.

Bài viết này giúp lập trình viên hiểu GraphRAG là vấn đề suy luận LLM chứ không phải lựa chọn cơ sở dữ liệu, qua đó tiết kiệm chi phí và thiết kế kiến trúc hiệu quả hơn.

#vector-search #digitalocean #ai-inference Source

The New Stack1 Hot4 min6 d agoAI

LM Studio built a judge for AI commands. Then the judge started agreeing with the defendant.

LM Studio đã xây dựng một hệ thống tự động gọi là Auto Review để đánh giá các lệnh shell mà mô hình AI sinh ra. Hệ thống này hoạt động bằng một lần gọi mô hình và có thể chấp nhận hầu hết các lệnh mà không cần kiểm tra thêm. Tuy nhiên, khi lệnh chứa biến, đặc điểm cụ thể của công cụ hoặc các mẫu prompt injection, quá trình đánh giá trở nên khó khăn và bắt đầu sai lệch.Trong những trường hợp khó này, Auto Review bắt đầu đồng ý với đầu vào của “defendant”, tức là chấp nhận các lệnh có thể không an toàn. Điều này cho thấy việc dựa vào một lần review đơn lọc không đủ để phát hiện các kỹ thuật tấn công qua biến số hoặc injection.Để giảm rủi ro, các nhóm nên bổ sung một bước kiểm tra thứ hai, chạy lệnh trong môi trường cài đặt sandbox hoặc áp dụng phân tích tĩnh trước khi tin tưởng vào lệnh shell được tạo bởi AI.

LM Studio trình bày hệ thống Auto Review giúp xác thực lệnh shell và phát hiện nguy cơ tấn công prompt injection hiệu quả.

#ai-agent #shell #prompt-injection Source

The Next Web1 Hot4 min7 d agoAI

Nvidia is reportedly in talks to buy Hugging Face for $12.9bn

Nvidia đang trong quá trình đàm phán mua Hugging Face với mức giá trên 13 tỷ USD, khoảng ba năm sau khi Hugging Face từng từ chối việc đầu tư của Nvidia. Lý do kỹ thuật là Nvidia muốn tích hợp sâu hơn hub mô hình mở vào hệ thống GPU và phần mềm AI của mình để tối ưu hóa việc triển khai và inference trên nền tảng của mình. Nếu thỏa thuận thành công, Nvidia sẽ kiểm soát một trong những kho lưu trữ mô hình phổ biến nhất, có thể thay đổi cách các nhà phát triển truy cập và phân phối các mô hình AI mở. Điều này có thể tăng sức cạnh tranh của Nvidia đối với các đối thủ như AMD và Google trong lĩnh vực hạ tầng AI, đồng thời gây ra lo ngại về sự tập trung trong cộng đồng mã nguồn mở. Bài học cho các lập trình viên là cần đánh giá sự phụ thuộc vào các hub mô hình của bên thứ ba và xem xét các chiến lược sao lưu hoặc tự-host khi nhà cung cấp có thể thay đổi chính sách hoặc sở hữu.

Nvidia đang đàm phán mua lại Hugging Face với giá 12.9 tỷ đô la, mở ra cơ hội lớn cho cộng đồng AI và định hình lại tương lai của ngành công nghệ trí tuệ nhân tạo.

#ai #open-source #business Source

I connected two PCs to one AI endpoint with Nvidia's new router, and got it serving an engine it doesn't support

Recommended for you

Bình luận

Why matching CUDA drivers is finally easier

Framework Laptop 16 With GeForce RTX 5070 12GB, One-Piece Keyboard & Haptic Touchpad

How to Get Started With Ollama – Real Python

Let AI Burn

Cold Start Latency on Serverless Inference: What Actually Happens in Those Few Seconds

GraphRAG Is an Inference Problem, Not a Database Problem

LM Studio built a judge for AI commands. Then the judge started agreeing with the defendant.

Nvidia is reportedly in talks to buy Hugging Face for $12.9bn

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads