Shopify Introduces Gisting: Compressing LLM System Prompts into Learned Tokens
Shopify's engineering introduced gisting, a novel technique for compressing long LLM prompts into a smaller set of learned "gist" tokens, improving throughput and reducing inference cost.
Bài viết bắt đầu bằng việc đặt ra mục tiêu của việc thiết kế vòng lặp trong hệ thống phần mềm hiệu suất cao. Nó phân tích nguyên nhân kỹ thuật khi các vòng lặp được viết mà không tính đến truy cập bộ nhớ, dự đoán nhánh và chi phí gọi hàm, dẫn đến sự suy giảm throughput lên tới hàng chục phần trăm trên các nền tảng như x86-64 hoặc ARM. Hệ quả là không chỉ lãng phí tài nguyên CPU mà còn làm tăng độ phức tạp bảo trì khi đội phát triển phải dựa vào giả định thay vì đo lường thực tế. Bài viết nhấn mạnh kỷ luật không ủy phán quyết định cho công cụ hoặc thư viện mà tự mình đo lường, profile và điều chỉnh dựa trên dữ liệu thực nghiệm. Điều đáng học là áp dụng quy trình lặp lại: định nghĩa mục tiêu, đo lường baseline, thay đổi một biến mỗi lần và xác nhận cải thiện trước khi tiếp tục, giúp vòng lặp trở thành một thành phần có thể dự đoán và mở rộng.
Bài viết giúp lập trình viên nắm vững kỹ thuật thiết kế vòng lặp hiệu quả và phát triển tư duy phản biện khi giải quyết vấn đề.
Bài viết bàn về tầm quan trọng của vòng lặp (loops) trong kỹ thuật phần mềm, nhấn mạnh việc không ủy thác hoàn toàn quyết định cho các công cụ tự động mà phải duy trì sự kiểm soát và đánh giá chủ động.
Là người viết code hàng ngày, bạn sẽ tìm hiểu cách xây dựng các vòng lặp hiệu quả và tránh những thói quen sai lầm như tự động hóa quyết định sai lầm, giúp code trở nên rõ ràng, bảo trì dễ dàng và hiệu suất cao hơn.
Bài viết xuất từ chuyên mục Enterprise Document Intelligence (Vol.1 #B3) và đề cập đến vấn đề khi hệ thống RAG trả lời “không có trong tài liệu”. Nguyên nhân kỹ thuật là hệ thống cần cung cấp bằng chứng để hỗ trợ câu trả lời tiêu cực, được chia thành bốn “gạch” (brick) mỗi gạch mang một mẩu bằng chứng cụ thể. Nếu hệ thống đưa ra câu trả lời sai với độ tin cậy cao, đó là lỗi; nếu chỉ trả lời “không có câu trả lời” mà không có bất kỳ bằng chứng nào, cũng gần như không chấp nhận được. Hệ quả là người dùng có thể bị dẫn vào lỗi hoặc mất niềm tin vì thiếu sự minh bạch và cơ sở lý giải cho câu trả lời negative. Bài học là khi thiết kế RAG cho tài liệu doanh nghiệp, phải bắt buộc hệ thống xuất ra bốn loại bằng chứng (ví dụ: trích đoạn, điểm số liên quan, nguồn tài liệu, và mức độ độ tin cậy) để chứng minh lý do nói “không có trong tài liệu”, từ đó tránh trả lời sai tự tin và cải thiện độ tin cậy.
Lập trình viên nên đọc bài này để hiểu cách xây dựng Retrieval-Augmented Generation (RAG) hiệu quả bằng cách kết hợp bốn loại bằng chứng rõ ràng—tránh tình trạng trả lời sai xác suất cao hoặc chỉ trả lời “không có thông tin” mà không có cơ sở.
Trong môi trường phát triển hiện nay, các công cụ coding agent ngày càng được tích hợp vào quy trình, nhưng vẫn còn nhiều lỗ hổng trong khả năng tự kiểm tra và điều chỉnh. Nguyên nhân nằm ở việc cấu trúc agent files không được theo dõi chặt chẽ, dẫn đến việc các lệnh bị bỏ sót hoặc ghi đè. Khi không thực hiện audit định kỳ, các lỗi tiềm ẩn sẽ lan tỏa, gây giảm chất lượng đầu ra và tăng chi phí sửa lỗi. Vì vậy, việc áp dụng quy trình audit có thể giúp phát hiện sớm các sai lệch, tối ưu hoá workflow và nâng cao độ tin cậy của hệ thống. Do đó, người phát triển nên cân nhắc đọc bài gốc để nắm bắt các bước thực tiễn.
Hướng dẫn thực tế này giúp bạn kiểm tra và cải thiện hiệu suất của coding agent.
Bài viết mô tả tình huống lặp lại khi giải thích cùng một mô hình AI lên đến bốn lần trong một tuần do thiếu quy trình phát triển rõ ràng. Nguyên nhân kỹ thuật là sự thiếu một AI SDLC chuẩn hoá, bao gồm các bước kiểm tra mô hình, quản lý phiên bản và tự động hoá pipeline cho các agent. Hệ quả là đội ngũ tiêu tốn thời gian cho việc lặp lại giải thích, dẫn tới sự không nhất quán trong kết quả và trì hoãn việc triển khai các tính năng AI. Bài hướng dẫn đề xuất áp dụng các giai đoạn của AI SDLC – thu thập dữ liệu, huấn luyện, đánh giá, triển khai và giám sát – kèm theo công cụ như MLflow, Docker
Hướng dẫn đầy đủ về quy trình phát triển AI SDLC giúp bạn xây dựng kỹ năng Agent hiệu quả.
We need to produce a Vietnamese summary, 4-6 sentences, natural, following order: background, technical cause, consequences, lessons learned. Include specific numbers and tech names if present. Avoid generic sentences, no markdown, no opening fluff, no mention that it's a summary. Use only Vietnamese and Latin characters, keep technical terms in English. No Chinese/Japanese/Korean characters.
Let's extract details:
- Engineering lead built an internal AI on-call agent.
- Over four months, grew from personal tool to infrastructure adopted by 36 agents across 28 teams.
- Key lessons: pick bounded repeatable problem, give agent memorable name to drive adoption, dropped proactive monitoring in favor of reactive help-desk model because usage data showed nobody wanted proactive alerts, treat prompt as strict runbook with numeric SLAs, explicit field IDs, closed failure taxonomy, asymmetric read/write permissions based on blast radius, offload rarely-needed procedural knowledge into loadable skills rather than bloating prompt.
- Failure modes: agent cannot diagnose its own outages because silence and failure look identical, so aliveness checks must live outside the agent.
- Session volume grew from 104 to 243 per week with a 3.4% failure rate across 1,133 sessions.
We need to produce 4-6 sentences, covering background, technical cause, consequences, lessons learned.
Let's craft:
Sentence 1: Background: An engineering lead spent four months building an internal AI on-call agent that started as a personal tool and eventually served 36 agents across 28 teams.
Sentence 2: Technical cause/approach: The team chose a bounded repeatable problem, gave the agent a memorable name, switched from proactive alerts to a reactive help‑desk model after data showed no demand for proactive notifications, and treated the prompt as a strict runbook with numeric SLAs, explicit field IDs, a closed failure taxonomy and asymmetric read/write permissions based on blast radius.
Sentence 3: Consequences/adoption: Session volume rose from 104 to 243 per week, accumulating 1,133 sessions with an overall 3.4% failure rate, demonstrating both usage growth and reliability challenges.
Sentence 4: Lessons learned: They offloaded rarely‑used procedural knowledge into loadable skills to keep the prompt lean, and realized the agent cannot self‑diagnose outages because silence and failure are indistinguishable, requiring external aliveness checks.
That's 4 sentences. Could add a fifth about naming driving adoption, but we already covered. Could add a sentence about the failure taxonomy and permissions. But we have enough.
Check for any Vietnamese characters: need to avoid any Chinese/Japanese/Korean characters. Use only Vietnamese Latin characters and English terms. Ensure no special characters like é? Vietnamese uses diacritics like á, ă, etc. Those are Latin characters with diacritics, allowed? The instruction: "Chỉ dùng chữ Việt và chữ Latin: tuyệt đối không có ký tự Hán/Trung/Nhật/Hàn trong câu trả lời, tên riêng kỹ thuật giữ nguyên dạng Latin." So Vietnamese characters with diacritics are allowed (they are Latin-based). So we can use Vietnamese with accents.
Make sure not to accidentally include any non-Latin like “–” (en dash) is okay? It's not a letter. Probably fine. Safer to use plain hyphen "-". Avoid curly quotes. Use plain ASCII punctuation.
Let's write sentences with plain punctuation.
Sentence 1: "Một trưởng nhóm kỹ thuật đã dành bốn tháng để xây dựng một tác nhân AI on‑call nội bộ, bắt đầu như một công cụ cá nhân và sau đó được 36 tác nhân trong 28 đội sử dụng."
Check: "tác nhân" maybe not common; better "đại lý" or "agent". Keep term "agent" in English. So: "Một trưởng nhóm kỹ thuật đã dành bốn tháng để xây dựng một agent AI on‑call nội bộ, bắt đầu như một công cụ cá nhân và sau đó được 36 agent trong 28 đội sử dụng."
Sentence 2: "Đội đã chọn một vấn đề có giới hạn và lặp lại, đặt tên agent để dễ nhớ, chuyển từ cảnh báo chủ động sang mô hình hỗ trợ phản ứng sau khi dữ liệu cho thấy ninguém muốn nhận cảnh báo chủ động, và đối xử prompt như một quy tắc chặt chẽ có SLA số, ID trường rõ ràng, phân loại lỗi đóng và quyền đọc/ghi bất đối xứng dựa trên bán phá hủy."
We need to ensure no special characters like “‑”. Use hyphen "-". Also avoid curly quotes. Use straight quotes if needed but better avoid.
Sentence 3: "Trong thời gian chạy, số phiên tăng từ 104 lên 243 mỗi tuần, tổng cộng 1.133 phiên với tỷ lệ thất bại 3,4%."
Sentence 4: "Bài học chính là offload kiến thức thủ tục raramente dùng vào các skill có thể tải, giữ prompt gọn, và nhận ra agent không thể tự chẩn đoán sự cố vì im lặng và lỗi trông giống nhau, vì vậy kiểm tra sự sống phải đặt bên ngoài agent."
Check numbers: "1.133" maybe should be "1 133" but we can use "1,133". Use comma as thousand separator. In Vietnamese, they often use dot as thousand separator and comma as decimal. But we can use "1.133" as thousand separator (dot) and comma for decimal? The original says "1,133 sessions". We'll keep "1,133". Use comma as thousand separator, dot for decimal? The failure rate "3.4%" uses dot as decimal. That's fine.
Thus sentence 3: "Trong thời gian chạy, số phiên tăng từ 104 lên 243 mỗi tuần, tổng cộng 1,133 phiên với tỷ lệ thất bại 3,4%."
Sentence 4
Bài này cung cấp bài thực tế về cách xây dựng và triển khai AI on-call agent từ một công cụ cá nhân thành hệ thống được 36 agent chấp nhận, với những bài học quý giá về thiết kế và quản lý.
Hướng dẫn dành cho tester về tư duy phản biện khi sử dụng công cụ AI, nhấn mạnh những sai lầm phổ biến như ảo tưởng sức mạnh (LLM không thực sự thông minh mà chỉ dự đoán dựa trên dữ liệu huấn luyện), đưa ra câu trả lời sai nhưng tự tin, phiên bản trả phí nghiên cứu kỹ hơn miễn phí, ảo giác (hallucination) tạo ra câu trả lời bịa nhưng thuyết phục, xu hướng đồng thuận vô điều kiện, văn bản/code dư thừa (workslop), và nguy cơ các tác nhân AI (AI agents) thực hiện hành động ngoài ý muốn. Lời khuyên chính là luôn xác minh đầu ra của AI thay vì tin tưởng mù quáng.
Lập trình viên nên đọc bài này để học cách phân biệt giữa sự hữu ích và rủi ro khi sử dụng AI—tránh bị lừa bởi những kết quả giả tạo, từ đó xây dựng mã và giải pháp kỹ thuật chính xác và hiệu quả hơn.
Tệp thông số kỹ thuật và hướng dẫn dường như là một biện pháp an toàn, nhưng nếu quá nhiều, agent sẽ bị rối thay vì hoạt động hiệu quả hơn. Vậy đâu mới là nguồn thông tin đáng tin cậy thực sự?
Lập trình viên nên đọc bài này để hiểu cách tối ưu hóa cấu trúc thông tin cho các mô hình AI, tránh tình trạng quá tải dữ liệu gây mất tập trung và làm giảm hiệu suất thực thi logic trong các dự án tự động hóa hoặc xử lý dữ liệu phức tạp.
