Databricks AI Runtime and NVIDIA make it easier to customize open models with enterprise data

Nemotron-Personas-Finance-Japan: A Synthetic Dataset Capturing Japan's Demographics and Financial Context

A Blog post by NVIDIA on Hugging Face

Richard Geldreich's Blog: Basis Universal v2.6 update

Basis Universal v2.6 will expose its real-time analytical encoders through new APIs and tooling, with a new command line tool called basisu_pack shipping in January 2027. These encoders don't require SIMD, yet many are faster than other older search-based SIMD encoder designs. The update also plans official Python wheels for several platforms, transcoding performance increases, and large compression ratio improvements for XUASTC. CLI tools ship as both native binaries and secure WASM WASI executables.

I changed one llama.cpp flag, and my 8GB laptop GPU now runs a 35B model faster than I can read

Một lập trình viên đã tìm ra cách chạy model Llama 35B trên laptop GPU chỉ 8GB VRAM với tốc độ đáng kinh ngạc. Nguyên nhân kỹ thuật nằm ở việc chỉnh sửa cờ n_gpu_layers trong llama.cpp, cho phép tận dụng hiệu quả bộ nhớ VRAM thay vì để nó trở thành điểm nghẽn. Hệ quả là model 35B parameters chạy nhanh đến mức người dùng không kịp theo dõi, vượt xa các kỳ vọng ban đầu về giới hạn phần cứng. Điều đáng học hỏi là đôi khi vấn đề không nằm ở cấu hình phần cứng mà ở cách tối ưu hóa phần mềm để khai thác tiềm năng thực sự của hardware.

Bài viết tiết lộ cách tối ưu hóa một cờ trong llama.cpp để chạy mô hình 35B trên GPU 8GB nhanh hơn tốc độ đọc của bạn.

Linux 7.4-rc2 Released With FAT32 Optimization, AMDGPU HDMI 2.2 Improvement

Linus Torvalds released Linux 7.4-rc2, calling it a big rc2 following the largest ever rc1. The release includes a notable FAT32 performance improvement, especially for synchronous mounts, AMDGPU driver fixes for HDMI 2.2 FRL, and numerous fixes for long-standing core memory management bugs. Torvalds noted the diffstat looks benign and is largely driven by automated coccinelle script updates that add noise, and that AI-generated fixes and bug reports continue to pour in. He said Alexei claims fixes on the bpf side are now coming in faster than new reports. Linux 7.4 is aiming for a stable release around the end of December.

Why Other Requests Change Your LLM’s Output

+ an update on Harness Engineering 2.0.

The LLM Blindspot: Why Models Forget What’s in the Middle of Your Prompt

Các mô hình LLM (Large Language Model) thường bỏ qua thông tin nằm ở giữa prompt, hiện tượng được nghiên cứu trong bài viết này. Nguyên nhân kỹ thuật đến từ cơ chế attention của transformer architecture, nơi các token ở đầu và prompt được tính trọng số cao hơn. Hệ quả là mô hình có thể hiểu sai hoặc bỏ qua chi tiết quan trọng nằm ở vị trí trung tâm của prompt. Bài viết phân tích cụ thể hiện tượng này với các thí nghiệm trên GPT-3.5 và GPT-4, cho thấy tỷ lệ lỗi tăng lên đáng kể khi thông tin quan trọng được đặt ở giữa. Điều đáng học là các lập trình viên nên thiết kế prompt đặt thông tin quan trọng ở đầu hoặc cuối để tối ưu hóa hiệu quả khi làm việc với LLM.

Bài giải thích này giúp lập trình viên hiểu rõ tại sao mô hình ngôn ngữ lớn có xu hướng bỏ qua thông tin ở giữa prompt.

PyTorch 2.15 tackles the 'one bad GPU' problem

PyTorch 2.15 ships a rewritten NCCL backend that stops a single failing GPU from forcing a full training restart. The new ProcessGroupNCCL allows only one communicator per process group during initialization, which by default eliminates the crosstalk that the old version's many communicators caused. A third-party orchestrator can now exclude a crashed or slow GPU and assign a replacement worker. A new 'flight recorder' captures operation snapshots for debugging stalls. The legacy backend remains as a rollback option but will be removed in 2.16, planned for early next year. The release also totals 3,117 commits from 583 contributors and includes parallel processing improvements for Apple gear and support for Nvidia's next-generation Blackwell GPUs.

Creating a Hybrid Vector Search Index in Databricks: Important Configuration Settings for RAG Applications

Learn how to configure a hybrid Vector Search index in Databricks for RAG, including source tables, embeddings, endpoints, primary keys, and triggered updates.