I Screened 1,000 Strategies With Zero Edge. The Best Backtest Won 66% of Its Trades.

I Retested My MoE Offloading Benchmarks. Some of My Conclusions Changed.

A follow-up to my original 16GB GPU experiment, this time with consistent quantization, repeated... Tagged with ai, machinelearning, llm.

6 KV Cache Quantization Approaches

Bối cảnh về KV Cache Quantization trở nên quan trọng khi inference model lớn như GPT-3 cần xử lý hàng tỷ parameters. Nguyên nhân kỹ thuật là do KV Cache chiếm tới 40% bộ nhớ VRAM, tạo ra bottleneck đáng kể cho các inference server. Hệ quả rõ ràng là việc lượng hóa KV Cache giúp giảm 50-70% bộ nhớ sử dụng và tăng tốc inference đến 30%. Điều đáng học là 6 phương pháp lượng hóa KV Cache từ các nghiên cứu gần đây của NVIDIA và Google Research đều có trade-off giữa độ chính xác và hiệu suất, tùy thuộc vào hardware support cụ thể.

Cách tiếp cận KV Cache Quantization được minh họa trực quan giúp lập trình viên hiểu và tối ưu hiệu năng mô hình ngôn ngữ.

How Apple Fits an LLM on Your iPhone

Apple tích hợp LLM lớn trên iPhone bằng cách sử dụng Transformer architecture và kỹ thuật quantization giảm độ chính xác từ 32-bit xuống 4-bit. Công nghệ này cho phép model hoạt động hiệu quả với hạn chế bộ nhớ và điện năng của thiết bị di động. Hệ quả là người dùng có thể trải nghiệm các tính năng AI mạnh mẽ ngay trên thiết bị mà không cần kết nối internet. Bài viết đáng học hỏi ở chỗ Apple đã tối ưu hóa hiệu suất mô hình thông qua kỹ thuật distillation và các bản đặc biệt của on-device neural engine.

Bài này giải thích cách Apple tối ưu hóa mô hình LLM để chạy trơn tru trên iPhone mà không ảnh hưởng đến hiệu năng thiết bị.

What “open weights” means for AI models

Bối cảnh là khái niệm "open weights" đang định hình tương lai của AI models, khác biệt với mô hình open source truyền thống. Nguyên nhân kỹ thuật là open weights chỉ chia sẻ weights (các tham số mô hình) chứ không phải source code, cho phép sử dụng mô hình mà không cần phân tách nó. Hệ quả là Qwen3.8 của Alibaba và Kimi K3 của 01.AI chứng minh các mô hình open weights có thể đạt hiệu năng cao tương tự các closed-source models như GPT-4. Điều đáng học là open weights tạo ra một sân chơi bình đẳng hơn, nơi các công ty có thể tinh chỉnh và triển khai AI mà không bị phụ thuộc vào một nhà cung duy nhất. Xu hướng này mở ra cơ hội mới cho ứng dụng AI trong nhiều lĩnh vực với chi phí thấp hơn.

Bài này giúp lập trình viên hiểu rõ khái niệm "open weights" trong AI và sự khác biệt giữa nó với open source, qua các ví dụ thực tế như Qwen3.8 và Kimi K3.

How to Apply Secure By Design Practices To Money Software

Bối cảnh của bài viết chia sẻ hai bài học quan trọng từ một cuốn sách bảo mật chuyên ngành. Nguyên nhân kỹ thuật là các nguyên tắc Secure By Design áp dụng cho phần mềm tài chính không chỉ liên quan đến bảo mật mà còn về kiến trúc hệ thống và quản lý rủi ro. Hệ quả là việc áp dụng những nguyên tắc này giúp giảm thiểu lỗ hổng và tăng độ tin cậy của hệ thống. Điều đáng học là các phương pháp như Zero Trust, Defense in Depth và Threat Modeling có thể ứng dụng hiệu quả ngay cả khi bạn không phải chuyên gia bảo mật.

Hai bài học từ sách bảo mật giúp bạn viết phần mềm tài chính an toàn hơn mà không cần chuyên sâu về bảo mật.

Agents Prompt People: Using Agents for Long-Horizon Financial Work

Arca's head of AI discusses persistent memory, the benefits of a custom harness, and agentic workflows that span days.

Using Agents for Long-Horizon Financial Work — Aman Singh, Arca

Arca head of AI Aman Singh joins Latent Space head of editorial Richard MacManus at AI Engineer New York, to discuss how Arca is building an AI-native wealth management firm. Singh explains Arca's architecture, which includes a custom harness and persi...

An LLM Judge Told to Ignore Answer Order Still Flipped a Third of Its Verdicts

An LLM Judge Told to Ignore Answer Order Still Flipped a Third of Its Verdicts The MT-Bench judge prompt already told GPT-4 to ignore answer order. A rubric line cannot fix position bias, so run …