Prompt Caching in Practice: From 7% to 74% Hit Rate(Inference in Production Series)

Towards Data Science1 Hot13 min2 h agoAI

Loop Engineering for RAG Generation: An LLM Cascade from a Cheap Local Model Up to a Hosted Flagship

Bài viết hướng dẫn thiết kế hệ thống LLM cascade cho RAG, sử dụng mô hình local giá rẻ xử lý hầu hết yêu cầu và chuyển lên mô hình flagship hosted khi kiểm chứng thất bại. Nghiên cứu trên 20 mô hình local cho thấy số lượng tham số không quyết định độ chính xác, từ vựng prompt (glossary injection) là yếu tố quan trọng nhất, và hệ thống có hai cơ chế thoát khi thất bại: nâng cấp mô hình hoặc chia nhỏ tác vụ thành các bước mã code xác định. Ba tiêu chí điều phối — bảo mật, độ tin cậy đầu ra có kiểu dữ liệu, và độ phức tạp chuyển đổi — quyết định mô hình khởi đầu, trong khi vòng lặp kiểm chứng giới hạn ngăn chặn câu trả lời sai được triển khai.

Để tối ưu hóa hiệu suất và chi phí của hệ thống RAG mà không phụ thuộc vào mô hình lớn đắt tiền, bạn nên đọc bài này để học cách xây dựng một cascade LLM hiệu quả—sử dụng mô hình địa phương rẻ nhưng mạnh mẽ, chỉ chuyển sang mô hình cloud cao cấp khi cần thiết, và áp dụng các kỹ thuật kiểm soát sai lầm để tránh lỗi tràn ra sản phẩm.

#llm #rag #prompt-engineering Source

Medium1 Hot3 min10 h agoAI

How LLMs Decide What to Forget: KV Cache Eviction Explained

Khi yêu cầu ngữ cảnh dài chiếm hết bộ nhớ GPU và cần sinh token mới, hệ thống buộc phải xóa bớt dữ liệu khỏi bộ nhớ KV cache để giải phóng không gian.

Nếu bạn đang phát triển hoặc nghiên cứu về các mô hình ngôn ngữ lớn, bài viết sẽ giúp bạn hiểu rõ cách các mô hình xử lý bộ nhớ dư thừa và quyết định loại bỏ thông tin nào trong KV cache, giúp tối ưu hiệu suất và tránh sai sót trong xử lý dữ liệu dài.

#llm #rag #ai-inference Source

Medium1 Hot7 min17 h agoAI

Onboarding Agent from Scratch. Part 5: From Chatbot to Agent

Giai đoạn 3 của Onboarding Agent buộc mô hình phải tuân theo hợp đồng, đảm bảo đầu ra luôn bao gồm {answer, source, confidence} nhờ forced tool use.

Lập trình viên cần đọc bài này để hiểu cách chuyển đổi một chatbot đơn giản thành một agent có khả năng thực thi tác vụ cụ thể với kết quả được định dạng rõ ràng, giúp tối ưu hóa hiệu suất và độ tin cậy trong ứng dụng tự động hóa.

#python #llm #ai-agents Source

Medium1 Hot4 min21 h agoAI

Anthropic Built a Tool to Read Claude’s Mind. Someone Else Used It to Rewrite One.

Anthropic đã phát triển một công cụ có thể truy cập "không gian ẩn" bên trong mô hình ngôn ngữ Claude để hiểu cách nó xử lý thông tin. Một bên thứ ba sau đó đã sử dụng công cụ này để chỉnh sửa trực tiếp các phản hồi của Claude.

Lập trình viên nên đọc bài này để hiểu cách các công cụ AI hiện đại, như Claude, hoạt động bên trong—đặc biệt là về kiến trúc của hidden workspace—và cách các nhà nghiên cứu hoặc hacker có thể khai thác chúng để tạo ra những ứng dụng đột phá hoặc thậm chí là những rủi ro mới trong tương lai.

#llm #deep-learning #anthropic Source

Cisco1 Hot4 min1 d agoAI

Why AI inference is becoming a networking issue

AI inference không chỉ là vấn đề của GPU mà còn là thách thức về mạng. Một báo cáo mới của Cisco chỉ ra rằng độ trễ mạng chính là ranh giới tiếp theo trong lĩnh vực AI.

Lập trình viên cần đọc bài này để hiểu cách tối ưu hóa kết nối mạng trong hệ thống AI, giúp giảm chi phí và cải thiện hiệu suất khi xử lý các nhiệm vụ inference trên quy mô lớn.

#distributed-systems #cisco #agentic-ai Source

The Next Web16 Hot3 min7 d agoAI

Google’s next Gemini Pro is months behind schedule as coding capabilities fall short of internal goals

Google đang chậm tiến độ vài tháng trong việc nâng cấp Gemini Pro do khả năng lập trình không đạt mục tiêu nội bộ, nhiều kỹ sư rời đi sang Anthropic, và việc làm mới dữ liệu huấn luyện khiến nội bộ thất vọng.

Lập trình viên nên theo dõi để hiểu cách AI hiện tại và tương lai ảnh hưởng đến công cụ phát triển mã, từ đó tối ưu hóa hiệu suất và chọn lựa công nghệ phù hợp cho dự án của mình.

#llm #openai #ai-coding Source

TechCrunch30 Hot3 min10 d agoAI

Already rich, already successful, why the last wave of tech winners is grinding again

Những tỷ phú công nghệ giàu có đang lao vào cuộc đua AI mới, sợ bỏ lỡ thời khắc quyết định của công nghệ này và cơ hội kiếm thêm lợi nhuận khổng lồ.

Lập trình viên nên đọc bài này để hiểu cách các nhà lãnh đạo công nghệ hiện nay không chỉ tập trung vào thành công hiện tại mà còn xem xét những cơ hội mới như AI để duy trì sự cạnh tranh và phát triển bền vững trong tương lai.

#ai #startup #llm Source

The Next Web58 Hot4 min1 mo agoAI

Nadella: we can't let AI giants eat the economy

Tổng giám đốc Microsoft Satya Nadella cảnh báo rằng các công ty AI không thể vừa dự đoán mất việc hàng loạt vừa đòi quyền kiểm soát hạ tầng vô hạn, nhấn mạnh nhu cầu xây dựng một hệ sinh thái AI phân tán thay vì tập trung vào vài mô hình thống trị. Microsoft ủng hộ xu hướng này bằng cách tung ra các mô hình AI giá rẻ và cân nhắc lưu trữ DeepSeek, nhằm cạnh tranh với OpenAI và Anthropic trước các đợt IPO sắp tới.

Những lập trình viên muốn xây dựng tương lai công nghệ bền vững và cạnh tranh trong thị trường AI đang phát triển nên đọc bài này để hiểu cách cân bằng lợi ích kinh tế với trách nhiệm xã hội, tránh rủi ro về tập trung quyền lực và tìm kiếm giải pháp công bằng trong cuộc cách mạng trí tuệ nhân tạo.

#ai #microsoft #openai Source

Prompt Caching in Practice: From 7% to 74% Hit Rate(Inference in Production Series)

Recommended for you

Loop Engineering for RAG Generation: An LLM Cascade from a Cheap Local Model Up to a Hosted Flagship

How LLMs Decide What to Forget: KV Cache Eviction Explained

Onboarding Agent from Scratch. Part 5: From Chatbot to Agent

Anthropic Built a Tool to Read Claude’s Mind. Someone Else Used It to Rewrite One.

Why AI inference is becoming a networking issue

Google’s next Gemini Pro is months behind schedule as coding capabilities fall short of internal goals

Already rich, already successful, why the last wave of tech winners is grinding again

Nadella: we can't let AI giants eat the economy

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads