Local embeddings with llamadart: how llamas share secrets

Even Benchmark thinks AI is eroding the venture pact against backing rivals

Benchmark Capital nhận thấy quy tắc không đầu tư vào các startup cạnh tranh đang ngày càng khó thực thi trong bối cảnh AI. Nguyên nhân kỹ thuật là công nghệ AI phát triển nhanh với chi phí training ngày càng cao đòi hỏi nhiều vốn hơn. Hệ quả là các quỹ đầu tư như Benchmark buộc phải xem xét đầu tư vào nhiều dự án AI cùng lúc để tăng cơ hội thành công. Điều đáng học là mô hình đầu tư truyền thống Valley's rule đang cần được điều chỉnh để phù hợp với đặc thù của công nghệ AI hiện đại.

Bài viết giúp lập trình viên hiểu thay đổi trong quy trình đầu tư mạo hiểm khi AI làm xói mòn quy tắc không cạnh tranh giữa các startup.

Tech Is Brutal Right Now. Stay or Go? Let's Think Clearly.

Thị trường công nghệ hiện đang rất khó khăn với tỷ lệ phản hồi chỉ 1.5% sau 200 ứng tuyển. …

AI tutorials and articles

Flavio Copes tổng hợp hơn 100 bài viết về AI bao gồm hướng dẫn, tài liệu hướng dẫn và ghi …

I Think We're Forgetting How to Be Bored

Trong kỷ nguyên digital với AI giúp tối ưu mọi khoảnh khắc chờ đợi, chúng ta dần mất khả năng cảm nhận sự buồn chán. Các ứng dụng như Replika hay công cụ AI đang lấp đầy khoảng trống thời gian chết ngay cả khi chỉ cần 10 giây chờ đợi. Hệ quả là tâm lý chúng ta trở nên phụ thuộc vào kích thích liên tục, giảm khả năng tập trung sâu và suy sáng tạo. Điều đáng học là việc chủ ý để có những khoảng lặng thực sự có thể cải thiện sức khỏe tinh thần và hiệu suất làm việc lâu dài.

Bài viết này giúp lập trình viên nhận ra tầm quan trọng của sự nhàm chán để tái tạo năng lượng tinh thần và cải thiện năng suất làm việc.

Software engineers don't get to be Luddites about AI

Nhiều kỹ sư phần mềm cảm thấy tức giận với AI do kỹ năng họ xây dựng sự nghiệp đang bị …

Open From Data Center to Desktop: NVIDIA Expands Nemotron Family With Highest Efficiency Super VL and Bolt Models

NVIDIA vừa ra mắt Nemotron 3.5 Super VL, mô hình multimodal 120 tỷ tham số cho tác vụ agentic doanh nghiệp, đạt độ chính xác tương đương các mô hình lớn nhất của NVIDIA nhưng kích thước chỉ bằng 1/5 và tốc độ hoàn thành tác vụ nhanh 5 lần. Song đó, hai mô hình edge mới là Bolt 74B-A9B 24GB dành cho workload agentic local trên RTX/DGX Spark, và Bolt E4B 4GB cho agent hội thoại trên GeForce RTX và Jetson. Các mô hình này hỗ trợ post-training qua NVIDIA NeMo và đang được tùy chỉnh bởi tổ chức như Scale AI, CrowdStrike, Atlassian, Perplexity, và Salesforce cho nhiều lĩnh vực từ tài chính, an ninh mạng đến quy trình chính phủ. Open weights, training recipes và datasets có sẵn trên Hugging Face, với hỗ trợ triển khai qua llama.cpp, Ollama, LM Studio, và vLLM.

Lập trình viên nên đọc bài này để cập nhật các mô hình Nemotron mới nhất của NVIDIA với hiệu suất vượt trội và khả năng triển khai linh hoạt từ trung tâm dữ liệu đến thiết bị biên.

Trends #12:

Bối cảnh là bộ lọc Trends mới, theo dõi các xu hướng công nghệ bằng cách xác định những gì đang chuyển động, lý do quan trọng của chúng và những điều cần theo dõi tiếp theo. Nguyên nhân kỹ thuật đằng sau là thuật toán machine learning có khả năng phát hiện các mẫu trong dữ liệu lớn từ GitHub, Twitter, Stack Overflow và các nguồn khác. Hệ quả của công cụ này là cung cấp cái nhìn toàn diện về các công nghệ đang phát triển nhanh chóng, ví dụ như React Native và TensorFlow.js, với mức tăng trưởng hoạt động lên đến 400% trong quý vừa qua. Điều đáng học là cách phân tích đa nguồn dữ liệu giúp xác định các xu hướng trước khi chúng trở nên phổ biến, cho phép các lập trình viên và công ty có thể chuẩn bị và đầu tư vào công nghệ phù hợp.

Bài này giúp lập trình viên nắm bắt các xu hướng công nghệ mới nhất để định hướng phát triển nghề nghiệp và kỹ năng.

I moved my local models from Ollama to llama.cpp, and the reason I stayed has nothing to do with speed

Tác giả chuyển đổi các model local từ Ollama sang llama.cpp không phải vì tốc độ xử lý. Lý do chính là sự tiện lợi trong việc quản lý và khởi động model với llama.cpp sử dụng file cấu hình đơn giản. Ollama mặc dù cung cấp API thân thiện nhưng lại gặp vấn đề với việc quản lý phiên làm việc và chiếm dụng bộ nhớ cao hơn. Đáng học hỏi là việc lựa chọn công nghệ nên dựa trên trải nghiệm người dùng và khả năng tích hợp thực tế thay vì chỉ tập trung vào hiệu suất đơn thuần.

Bài viết này cho thấy rằng khi di chuyển mô hình từ Ollama sang llama.cpp, sự tiện lợi quan trọng hơn tốc độ tạo token.