Loading feed…
Medium0 Hot0 comments7 min read
ATTACK-Analyst: Fine-Tuning Made a 3B Model Sound Right. RAG Made It Right.
AI summary
Bối cảnh là các mô hình LLM 3B parameter sau khi fine-tuning có thể tạo ra câu trả lời trông rất tự nhiên nhưng vẫn chứa thông tin sai lệch. Nguyên nhân kỹ thuật là fine-tuning không giải quyết được vấn đề kiến thức lỗi thời hoặc thiếu hụt trong cơ sở kiến thức của mô hình. Hệ quả là mô hình vẫn đưa ra câu trả lời sai một cách thuyết phục, như trong trường hợp xác nhận sai ATT&CK technique cho hành vi dumping lsass.exe. Điều đáng học là RAG (Retrieval-Augmented Generation) có thể khắc phục hạn chế này bằng cách truy vấn cơ sở kiến thức thời gian thực trước khi tạo câu trả lời, đảm bảo độ chính xác dù cho mô hình chỉ 3B parameter.
AI summaries can be wrong. Read the original before relying on anything important.
Why read it: Bài này giúp lập trình viên hiểu cách kết hợp fine-tuning và RAG để nâng cao độ chính xác của mô hình AI.
What do you remember?
Answer 3 short questions to earn reward points for this article. Only do it if you want the points.
up to +17 points
3 questions · under a minute · optional
Source: https://medium.com/@darpanvedi0/attack-analyst-fine-tuning-made-a-3b-model-sound-right-rag-made-it-right-8e4ad935ea84. 8 Sync News only summarizes and links out; content copyright belongs to the authors and original sources.
8 Sync ecosystem
One account, the whole ecosystem
Read the news here, practice coding, follow structured courses and train for IELTS on our sibling products — all connected through one 8 Sync account.
8syncdev.com
8syncdev.comThe ecosystem home: product overviews, blog and full pricing.
ExploreCourses
course.8syncdev.comLearn along a clear roadmap: videos, auto-graded quizzes, certificates and mentors who ship for a living.
View the roadmapCoding practice
coding.8syncdev.com1,000 DSA problems in Vietnamese, auto-graded across 7 languages — many FREE, right in your browser.
Practice for freeIELTS
ielts.8syncdev.comAI grading for all four IELTS skills with detailed rubric feedback.
Try it freeZUS — AI IDE
zus.8syncdev.comA 22 MB AI IDE for Vietnamese devs.
Download freemind0
mind0.8syncdev.comOrganizational memory for AI agents.
ExploreAcoLeads
home-acoleads.8syncdev.comAI that staffs your Fanpage and qualifies leads for you.
Try itRecommended for you
ByteByteGo56 Hot13 minAI
The LLM Blindspot: Why Models Forget What’s in the Middle of Your Prompt
Các mô hình LLM (Large Language Model) thường bỏ qua thông tin nằm ở giữa prompt, hiện tượng được nghiên cứu trong bài viết này. Nguyên nhân kỹ thuật đến từ cơ chế attention của transformer architecture, nơi các token ở đầu và prompt được tính trọng số cao hơn. Hệ quả là mô hình có thể hiểu sai hoặc bỏ qua chi tiết quan trọng nằm ở vị trí trung tâm của prompt. Bài viết phân tích cụ thể hiện tượng này với các thí nghiệm trên GPT-3.5 và GPT-4, cho thấy tỷ lệ lỗi tăng lên đáng kể khi thông tin quan trọng được đặt ở giữa. Điều đáng học là các lập trình viên nên thiết kế prompt đặt thông tin quan trọng ở đầu hoặc cuối để tối ưu hóa hiệu quả khi làm việc với LLM.
Bài giải thích này giúp lập trình viên hiểu rõ tại sao mô hình ngôn ngữ lớn có xu hướng bỏ qua thông tin ở giữa prompt.
Daily Dose of Data Science | Avi Chawla | Substack23 Hot6 minAI
RAG vs. Jev + RAG, clearly explained!
Trong lĩnh vực AI retrieval, nghiên cứu so sánh RAG (Retrieval-Augmented Generation) với Jev + RAG cho thấy phương án kết hợp hiệu quả hơn 23% về độ chính xác. Nguyên nhân kỹ thuật nằm ở cách Jev (Judicious evidence verification) thêm bước kiểm chứng thông tin trước khi generate response, giảm thiểu hallucination. Hệ quả là chất lượng output cải thiện đáng kể, đặc biệt với các câu hỏi chuyên ngành cần độ chính xác cao. Điều đáng học là việc kết hợp kỹ thuật verification như Jev có thể nâng cao đáng kể hiệu ứng RAG mà không làm tăng đáng kể độ trễ.
Bài viết giúp lập trình viên hiểu rõ sự khác biệt và cách áp dụng hiệu quả giữa RAG thuần túy và mô hình Jev kết hợp RAG qua hình ảnh trực quan sinh động.
Medium13 Hot7 minAI
The Anatomy of an AI Agent
Một AI agent không chỉ đơn thuần là một LLM với prompt, mà được cấu trúc như một cơ thể người với nhiều bộ phận phối hợp. Đằng sau một AI agent hiệu quả là hệ thống gồm memory modules, planning engines, và tool use capabilities giúp nó hoạt động có tổ chức thay vì chỉ phản hồi thụ động. Việc thiếu các thành phần này khiến nhiều agent hiện nay không thể thực hiện các tác vụ phức tạp hoặc duy trì ngữ cảnh qua nhiều bước tương tác. Các công nghệ như LangChain, AutoGPT và tool-calling APIs đang phát triển để xây dựng các agent toàn diện hơn, nhưng việc hiểu giải phẫu agent giúp chọn đúng framework cho từng use case cụ thể.
Bài này giúp lập trình viên hiểu cấu trúc toàn diện của một AI Agent vượt ra khỏi đơn thuần là LLM, giúp thiết kế và phát triển hệ thống hiệu quả hơn.
Medium1 Hot1 minAI
Artifical Intelligence — Prep Interview
Ngành AI và ML có nhiều nhánh kiến thức sâu rộng mà sinh viên và kỹ sư cần tập trung khi phỏng vấn. Cơ sở kỹ thuật bao gồm supervised learning, unsupervised learning và reinforcement learning với các mô hình như neural networks và transformers. Hệ quả là ứng viên cần hiểu rõ các khái niệm như gradient descent, backpropagation và evaluation metrics. Điều đáng học là bài viết cung cấp lộ trình ôn tập chi tiết với các resources thực tế và ví dụ code cụ thể.
Bài viết này cung cấp hướng dẫn tập trung vào các lĩnh vực AI/ML quan trọng nhất giúp ứng viên chuẩn bị tốt hơn cho phỏng vấn kỹ thuật.
Medium6 Hot9 minAI
Introducing AgentHub: Booking.com Platform for Modular Travel AI Agents
Booking.com đã phát triển AgentHub, nền tảng để xây dựng các AI agent du lịch dạng module. AgentHub sử dụng GPT-4 và fine-tuning RLHF để tạo ra các agent có khả năng lập kế hoạch chuyến đi phức tạp. Nền tảng này cho phép chia nhỏ các agent chuyên biệt, mỗi agent xử lý một khía cạnh cụ thể như đặt chỗ hoặc gợi ý điểm tham quan. Kết quả là hệ thống có thể xử lý các yêu cầu phức tạp với độ chính xác 85%, cao hơn nhiều so với các phương pháp trước đây. Lập trình viên nên đọc bài để hiểu cách triển khai hệ thống multi-agent với orchestration layer hiệu quả.
AgentHub giúp lập trình viên hiểu cách xây dựng và quản lý hệ thống AI agents module hóa cho nền tảng du lịch lớn.
Medium2 Hot22 minAI
Building Connected AI Agents: How RAG, MCP, and A2A Form the Modern Google AI Stack
Bối cảnh bài viết phân tích kiến trúc AI hiện đại của Google với ba trụ cột chính là RAG, MCP và A2A. Nguyên nhân kỹ thuật là nhu cầu kết nối các AI agent với nhau và với hệ thống hiện có, giải quyết vấn đề thông tin phân mảnh và thiếu cơ chế chuẩn. Hệ quả là kiến trúc này tạo ra hệ sinh thái AI có khả năng tích hợp cao, cho phép các agent trao đổi dữ liệu và thực thi tác vụ phức tạp. Điều đáng học là cách RAG (Retrieval-Augmented Generation) giúp AI truy cập thông tin trong thời gian thực, MCP (Model Context Protocol) thiết lập giao thức kết nối, và A2A (Agent-to-Agent) tạo framework cho tương tác agent.
Bài viết này cung cấp kiến thức cơ bản về cách xây dựng AI agents kết nối với nhau bằng RAG, MCP và A2A.
freeCodeCamp25 Hot2 minAI
Hands-On Evolution of Deep Learning – Geoffrey Hinton’s AI Legacy
Geoffrey Hinton được mệnh danh là "Godfather of AI" đã phát triển khóa học trên freeCodeCamp.org YouTube, giúp bạn thành thạo mạng nơ-ron hiện đại bằng cách tái tạo các bước đột phá lịch sử. Khóa học bắt đầu từ neural network truyền thống đến modern deep learning với các ví dụ code cụ thể trên framework PyTorch. Hinton giải thích chi tiết quá trình phát triển của backpropagation, convolutional neural networks và transformer models. Bạn sẽ hiểu tại sao dropout giảm overfitting từ 27% xuống 2.5% và cách attention mechanism thay đổi hoàn toàn NLP. Khóa học này là cơ hội hiếm hoi để học trực tiếp từ người đặt nền móng cho deep learning revolution.
Khóa học giúp bạn nắm vững mạng nơ-ron hiện đại bằng cách tái tạo những tiến trình đột phá trong lịch sử trí tuệ nhân tạo.
Medium1 Hot11 minAI
RAG Isn’t Magic. Here’s the Journey From a Question to an Answer
Khi làm việc với RAG (Retrieval-Augmented Generation), nhiều người bị ấn tượng bởi khả năng "ma thuật" của nó. Hệ thống hoạt động bằng cách truy vấn các vector database như Pinecone hoặc Milvus để tìm ngữ cảnh liên quan từ kho knowledge base, sau đó đưa dữ liệu này vào prompt của LLM (GPT-3.5 hoặc GPT-4) để tạo câu trả lời. Tuy nhiên, RAG gặp thách thức với vấn đề hallucination - mô hình vẫn có thể tạo ra thông tin sai sự thật dù đã được truy vấn dữ liệu. Bài viết phân tích chi tiết từng bước trong quy trình RAG, giúp lập trình viên hiểu rõ nguyên nhân kỹ thuật đằng sau hiệu ứng "thần kỳ" này để tối ưu hóa hệ thống thực tế.
Bài viết này giải thích chi tiết quy trình hoạt động của RAG, giúp lập trình viên hiểu rõ cơ chế đằng sau công nghệ thay vì chỉ xem nó như phép màu.
Bình luận
Đang tải bình luận…