What Looked Fine

Mesh LLM: distributed AI computing on iroh

Mesh LLM là giải pháp tính toán AI phân tán, gom cụm GPU từ nhiều máy thành một API tương thích OpenAI duy nhất, chạy trên nền tảng iroh (thư viện mạng ngang hàng). Hệ thống sử dụng giao thức QUIC, hỗ trợ chia sẻ mô hình (kể cả MoE 235B) qua pipeline Skippy, và ẩn toàn bộ phức tạp phân tán bằng endpoint localhost:9337/v1.

Lập trình viên muốn xây dựng ứng dụng AI phân tán hoặc mở rộng mô hình lớn trên nhiều GPU mà không cần phụ thuộc vào cloud trung tâm nên tìm hiểu Mesh LLM để hiểu cách triển khai hiệu quả với iroh và OpenAI API.

Stop Telling Me To Ask An LLM

Bài viết phản đối xu hướng đề nghị người khác "hãy thử hỏi AI" khi đưa ra câu hỏi khó cho chuyên gia con người, cho rằng kinh nghiệm sống và sự đánh giá sâu sắc từ nhiều năm trong ngành không thể thay thế bởi LLM. Tác giả nhấn mạnh rằng những câu hỏi thực sự khó vượt qua sự kiểm tra của AI mới thực sự cần đến chuyên môn con người.

Bài viết giúp lập trình viên hiểu rằng khi một chuyên gia kỹ thuật đưa ra câu hỏi đòi hỏi kinh nghiệm thực tế và quyết định cẩn trọng, thay vì tự động nhờ AI giải đáp, họ nên đánh giá lại cách tiếp cận và tìm cách tích hợp kiến thức chuyên sâu của người khác để tránh mất đi giá trị của sự chuyên môn.

Let AI Burn

Bài viết cho rằng ngành AI đang là một bong bóng không bền vững, dựa trên tài trợ vòng …

I stopped treating AI models like Pokémon—I don't need to collect them all

Tác giả từng lạm dụng Ollama khi chạy các mô hình AI local bằng cách thu thập đủ loại LLM mới thay vì cải thiện năng suất. Sau khi nhận thấy sự lãng phí khi theo đuổi benchmark không phù hợp, ông đã gán mỗi mô hình một vai trò cụ thể (DeepSeek 14B cho tác vụ hàng ngày, GPT-OSS 20B cho phân tích tài liệu, Qwen 2.5 Coder cho lập trình) và tích hợp chúng vào công cụ sẵn có như Logseq, Obsidian, VS Code thay vì đổi liên tục.

Lập trình viên nên đọc bài này để tránh bị mắc kẹt trong cuộc đua "sưu tập" các mô hình AI mà thực chất vẫn chưa tối ưu hóa hiệu suất thực tế cho công việc của mình.

Make no assumptions.

Bài viết bàn về nguy cơ "messy reasoning horizons" (các tầng lý luận lộn xộn) trong code khi sử dụng AI coding harnesses và LLMs, nơi những lớp lý luận sai lầm tích tụ dẫn đến quyết định thảm khốc. Tác giả chia sẻ trường hợp suýt sửa một vấn đề không tồn tại do đầu ra LLM không được xác thực, đồng thời đề xuất 5 biện pháp: không đưa ra giả định nào về ngữ cảnh lý luận, tác giả phải là người đầu tiên xem xét lại output của mình, ưu tiên các quy ước phần mềm mang tính xác định, tách biệt thử nghiệm khỏi sản xuất, và cấu trúc việc sử dụng LLM nhằm khám phá, tinh chỉnh thay vì đưa ra kết luận trực tiếp.

Lập trình viên nên đọc bài này để tránh rủi ro từ những quyết định sai lầm do messy reasoning—kết hợp sai lầm logic từ các tầng code—nên gây thiệt hại lớn hơn khi AI và LLM đưa ra kết luận không được kiểm chứng.

In defense of not understanding your codebase

Bài viết bảo vệ quan điểm làm việc với hiểu biết không đầy đủ về codebase trong hệ thống phần mềm lớn, phản bác luận điểm "Lập trình như xây dựng lý thuyết" của Peter Naur khi cho rằng việc xây dựng lại toàn bộ hệ thống khi kiến thức nhóm bị mất là không khả thi ở quy mô lớn. Các kỹ sư hiện đại phải đưa ra quyết định tự tin dù hiểu biết không hoàn chỉnh, đồng thời xem "duy trì lý thuyết về codebase" chỉ là một giá trị kỹ thuật trong số nhiều giá trị khác.

Những lập trình viên làm việc trong hệ thống lớn sẽ hiểu rằng không thể duy trì sự hiểu toàn bộ mã nguồn từ đầu, nhưng vẫn cần làm việc hiệu quả khi thiếu kiến thức chi tiết—điều này giúp họ tránh rơi vào rắc rối khi phải "xóa và viết lại" mã như một số quan điểm cổ điển đề xuất.

Mistral Releases Leanstral 1.5, an Open Model That Solved 587 of 672 Putnam Math Problems

Mistral AI vừa ra mắt Leanstral 1.5, một mô hình hỗn hợp chuyên biệt (119B tham số, ~6B hoạt động) dành cho việc viết và xác minh chứng minh hình thức trong Lean 4, giải được 587/672 bài toán Putnam và đạt 100% trên miniF2F. Ngoài ra, mô hình còn hoạt động như một tác nhân mã hóa, phát hiện 5 lỗi chưa biết trong 57 kho mã nguồn mở nhờ cơ chế phản hồi được xác nhận bởi trình biên dịch.

Lập trình viên nên đọc bài này vì Leanstral 1.5 không chỉ là một công cụ giải quyết toán học mà còn là một mô hình AI có khả năng phát hiện lỗi trong mã nguồn thực tế, giúp tối ưu hóa chất lượng code và hiệu suất trong các dự án lớn.