Viability of local models for coding

A Thoughtworks technologist shares hands-on experience running local LLMs for agentic coding over four weeks on Apple Silicon hardware (M3 Max 48GB and M5 Pro 64GB). The post systematically covers the key factors affecting viability: RAM constraints, processing power, memory bandwidth, parameter count, reasoning capabilities, tool calling reliability, model format (GGUF vs MLX), quantization levels, MoE vs dense architecture, context window size, runtime choice (LM Studio), and harness compatibility (OpenCode, Pi, Claude Code). Key findings include: Qwen3.6 35B MoE offers the best balance of capability and RAM footprint; reasoning mode can actually hurt performance for smaller models; tool calling remains unreliable but models often self-correct; and the overall experience is still too messy for plug-and-play developer use. A follow-up memo covering specific task results is promised.

Nguồn: https://martinfowler.com/articles/exploring-gen-ai/local-models-for-coding-factors.html. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

DevOps.com21 Hot5 phút1 ngày trướcAI

Mistral Releases Leanstral 1.5, an Open Model That Solved 587 of 672 Putnam Math Problems

Mistral AI vừa ra mắt Leanstral 1.5, một mô hình hỗn hợp chuyên biệt (119B tham số, ~6B hoạt động) dành cho việc viết và xác minh chứng minh hình thức trong Lean 4, giải được 587/672 bài toán Putnam và đạt 100% trên miniF2F. Ngoài ra, mô hình còn hoạt động như một tác nhân mã hóa, phát hiện 5 lỗi chưa biết trong 57 kho mã nguồn mở nhờ cơ chế phản hồi được xác nhận bởi trình biên dịch.

Lập trình viên nên đọc bài này vì Leanstral 1.5 không chỉ là một công cụ giải quyết toán học mà còn là một mô hình AI có khả năng phát hiện lỗi trong mã nguồn thực tế, giúp tối ưu hóa chất lượng code và hiệu suất trong các dự án lớn.