Shared Selective Persistent Memory for Agentic LLM Systems

Terence Eden29 Hot8 min1 d agoAITop

Are LLMs still surprisingly bad at some simple tasks?

Năm ngoái tác giả đã thực hiện thí nghiệm kiểm tra khả năng của các modern LLMs trong việc …

The New Stack1 Hot8 min8 h agoAI

How confidential AI splits control between data and model owners — and opens new opportunities for both

Các doanh nghiệp muốn áp dụng AI trên dữ liệu nhạy cảm nhưng các nhà xây dựng mô hình không muốn chia sẻ weights. VAST Data triển khai confidential AI để giải quyết vấn đề này bằng cách chia sẻ quyền kiểm soát giữa chủ sở hữu dữ liệu và chủ sở hữu mô hình. Công nghệ này sử dụng Intel SGX và AMD SEV để mã hóa dữ liệu trong quá trình inference, đảm bảo không ai truy cập được thông tin nhạy cảm. Điều này mở ra cơ hội cho cả hai bên: doanh nghiệp có thể tận dụng AI trên dữ liệu quan trọng mà không lo rò rỉ, trong khi các công ty AI vẫn bảo vệ được mô hình của mình.

Bài này giải thích giải pháp Confidential AI giúp doanh nghiệp sử dụng trí tuệ nhân tạo trên dữ liệu nhạy mật mà không cần chia sẻ trọng số mô hình.

#data-privacy #ai-security #agentic-ai Source

Lobsters1 Hot8 min10 h agoAI

How to talk about "AI" without adding to the anthropomorphization

Bối cảnh: Các tác giả Emily M. Bender và Nanna Inie trong bài viết cho Tech Policy Press phản đối cách gọi "AI" (Artificial Intelligence) như thể nó có ý thức hoặc khả năng ngôn ngữ. Nguyên nhân kỹ thuật: Thuật ngữ "AI" hiện tại che giấu sự thật kỹ thuật - các mô hình ngôn ngữ lớn chỉ là công cụ thống kê dự đoán từ tiếp theo dựa trên dữ liệu huấn luyện. Hệ quả: Cách gọi anthropomorphization này khiến công chúng hiểu sai, tạo kỳ vọng không thực tế và giảm trách nhiệm của nhà phát triển. Điều đáng học: Chúng ta cần dùng ngôn ngữ chính xác như "stochastic parrots" (vẹt ngẫu nhiên) để mô tả bản chất thực của các hệ thống AI và nhấn mạnh yếu tố dữ liệu đào tạo.

Bài này giúp lập trình viên nhận thức và tránh cách nói nhân hóa AI khi thảo luận về công nghệ này.

#llm #bots #ethical-ai Source

Machine Learning Mastery44 Hot10 min9 d agoAI

A Gentle Introduction to Model Distillation

Model distillation phương pháp nén khả năng của mô hình teacher lớn vào một student nhỏ hơn, ban đầu qua training trên soft probability distributions và temperature scaling, nay cho LLMs chủ yếu qua synthetic data generation, feature matching hoặc logit matching. Mặc dù distillation đã trở thành tiêu chuẩn (ví dụ Llama 3.1 405B của Meta được cấp phép rõ ràng cho mục đích này), năm 2026 chứng kiến các tranh chấp lớn khi OpenAI cáo buộc DeepSeek, Anthicism cáo buộc Qwen (Alibaba) và báo cáo về việc truy cập tài khoản giả để khai thác Claude, cùng Google can thiệp các tấn công vào Gemini. Chưa có kiểm toán pháp y hay phán xét tòa án nào giải quyết được các cáo buộc này, và xung đột cơ bản giữa việc mô hình bị bộc lộ qua API và được bảo vệ khỏi sao chép vẫn chưa được giải quyết.

Bài này giúp lập trình viên hiểu rõ thực trạng pháp lý và kỹ thuật của mô hình model distillation trong bối tranh tranh bản quyền công nghệ AI.

#ai #machine-learning #llm Source

Trendyol Tech15 Hot25 min7 d agoAI

We Automated Over 15,000 Security Reviews Without Letting AI Decide Everything

Để giải quyết bài toán kiểm tra bảo mật mất hàng giờ, công ty đã triển khai hệ thống automation với 15,000+ security reviews. Họ kết hợp deterministic controls và specialized AI agents để xử lý tác vụ nhưng vẫn giữ con người giám sát an toàn. Nhờ hệ thống này, thời gian verification giảm từ vài giờ xuống còn vài phút. Bài học đáng học là cách thiết kế hybrid approach giữa AI và human oversight mà không để AI tự quyết định, sử dụng safe escalation khi cần xử lý phức tạp. Các công nghệ như deterministic controls và specialized AI agents được tận dụng tối ưu để đạt hiệu suất cao.

Bài viết này giúp lập trình viên hiểu cách kết hợp kiểm soát xác định và AI chuyên dụng để tự động hóa hiệu quả quy trình rà bảo mật.

#security #llm #ai-agent Source

Huntress Blog1 Hot13 min1 d agoAI

Fighting AI Slop in Production Codebases: How Huntress Improved Fable 5.1’s API Recall

Huntress đã cải thiện đáng kể độ chính xác của Claude Fable 5.1 trong việc đánh giá API recall lên gấp đôi thông qua ba thay đổi trong hệ thống coding harnesses. Nguyên nhân kỹ thuật nằm ở việc tối ưu hóa phương pháp đánh giá và cải thiện chất lượng dữ liệu đầu vào. Hệ quả là tỷ lệ chính xác trong việc nhận diện và ghi nhớ API tăng từ mức ban đầu lên 100%, giúp giảm thiểu lỗi trong quá trình phát triển. Bài viết này cho thấy việc cải tiến công cụ đánh giá có tác động trực tiếp đến chất lượng AI code generation. Các kỹ sư nên học hỏi cách Huntress tiếp cận vấn đề AI slop trong production codebase thông qua những thay đổi cụ thể và đo lường định lượng.

Ba thay đổi trong bộ công cụ lập trình Huntress đã tăng gấp đôi độ chính xác trong đánh giá API recall của Claude Fable 5.1, giúp lập trình viên cải thiện hiệu quả AI trong sản phẩm thực tế.

#llm #ruby #rails Source

Daily Dose of Data Science | Avi Chawla | Substack2 Hot10 min2 d agoAI

Jev, Clearly Explained

Bài viết giải thích chi tiết khái niệm Jev kèm theo hình ảnh minh họa trực quan. Nguyên nhân kỹ thuật đằng sau Jev liên quan đến cách trình duyệt render layout khi có các phần tử absolutely positioned. Hệ quả là hiệu suất rendering có thể bị ảnh hưởng đáng kể nếu Jev không được xử lý đúng cách trong CSS. Điều đáng học là việc hiểu rõ Jev giúp tối ưu hóa performance khi thiết kế giao phức với nhiều layer và animation.

Bài viết này giúp lập trình viên nắm bắt nhanh chóng và dễ dàng các khái niệm Jev qua đồ họa trực quan.

#llm #ai-agent Source

ploeh blog109 Hot2 min1 mo agoAI

Why use ORMs if LLMs write code?

ORMs vẫn cần thiết vì chúng cung cấp lớp trừu tượng an toàn, hiệu quả để tương tác với cơ sở dữ liệu, trong khi LLMs chỉ sinh code tiềm ẩn rủi ro lỗi, kém tối ưu và khó bảo trì. ORMs giúp chuẩn hóa truy vấn, tránh SQL injection và tối ưu hóa hiệu suất thông qua caching, điều mà code do LLM sinh ra khó đảm bảo.

Lập trình viên nên đọc bài này để hiểu cách ORM và SQL vẫn giữ vai trò quan trọng trong quản lý dữ liệu cơ bản, giúp tránh rủi ro lỗi và tối ưu hóa hiệu suất khi ứng dụng lớn cần kiểm soát trực tiếp dữ liệu.

#llm #backend #sql Source

Shared Selective Persistent Memory for Agentic LLM Systems

Recommended for you

Are LLMs still surprisingly bad at some simple tasks?

Bình luận

How confidential AI splits control between data and model owners — and opens new opportunities for both

How to talk about "AI" without adding to the anthropomorphization

A Gentle Introduction to Model Distillation

We Automated Over 15,000 Security Reviews Without Letting AI Decide Everything

Fighting AI Slop in Production Codebases: How Huntress Improved Fable 5.1’s API Recall

Jev, Clearly Explained

Why use ORMs if LLMs write code?

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads