Spotify’s Backstage Portal cut my Claude Code token usage by 90%

Architecting with LLMs: use plain old code when you can, LLMs when you must

Khi thiết kế hệ thống với LLM, hãy sử dụng plain old code (POC) cho các tính năng có thể định nghĩa chính xác, và dành LLM cho những nhiệm vụ cần phán đoán, diễn giải hoặc xử lý đầu vào mơ hồ. Khung kiến trúc này áp dụng phép phân tích chức năng đệ quy để chia hệ thống thành các trách nhiệm riêng biệt, sau đó phân loại từng trách nhiệm thuộc về POC hay LLM, như minh họa trong workflow coding-agent 'implement plan'. LLM nên được đặt tại ranh giới hệ thống để xử lý đầu vào không có cấu trúc, và cần cung cấp cho chúng các công cụ POC như Gradle, Git để tương tác với thế giới thực. Khi hiểu biết về vấn đề ngày càng sâu sắc, ta cần xem xét và chuyển đổi lựa chọn triển khai giữa POC và LLM.

Bài này giúp lập trình viên hiểu cách phân bổ trách nhiệm hệ thống giữa code truyền thống và LLM dựa trên tính chất cụ thể của từng nhiệm vụ.

Everyone's learning to prompt better. That's the wrong skill.

Công nghệ AI đang tạo ra áp lực lớn để mọi người cải thiện kỹ năng prompt engineering với …

Adding Temporal Reasoning to Graph-RAG: Tracking Fact Freshness and Staleness

Graph-RAG được mở rộng bằng lớp temporal reasoning để phân biệt thông tin mới và cũ. Cụ thể, triple subject-predicate-object được nâng cấp thành quadruple có timestamp, lưu trong temporal graph với recency weights tính toán qua exponential decay có half-life parameter có thể điều chỉnh. Bài hướng dẫn minh họa cách xếp hạng các thông tin mâu thuẫn (ai là CEO) tại thời điểm truy vấn cụ thể và tích hợp temporal graph vào pipeline retrieval Graph-RAG 3-tier deterministic hiện có. LLM chỉ nhận thông tin mới nhất, cải thiện đáng kể tính chính xác của Graph-RAG với công nghệ temporal graph.

Bài hướng dẫn này giúp lập trình viên nâng cấp Graph-RAG bằng lớp lý luận thời gian để đảm bảo LLM chỉ sử dụng thông tin cập nhật nhất cho truy vấn của người dùng.

How LLMs Are Compressing Attacker MTTE, and What Defenders Need to Do About It

Bối cảnh của bài viết là các LLM đang làm giảm thời gian trung bình để thực hiện tấn công (MTTE). Nguyên nhân kỹ thuật là khả năng của các Large Language Models trong việc tự động hóa các công cụ tấn công như Mythos. Hệ quả là các nhà bảo mật phải đối mặt với thời gian phản ứng ngắn hơn đáng kể, đòi hỏi các chiến lược phòng thủ mới. Điều đáng học là các defender cần hiểu cách thức các LLM như Hugging Face có thể được sử dụng trong tấn công để phát triển các cơ chế bảo vệ phù hợp trước khi các công nghệ này trở nên phổ biến rộng rãi.

Bài viết giải thích cách LLMs đang nén thời gian phát hiện tấn công và điều phòng thủ cần thiết cho lập trình viên.

Apex Is Now Generally Available: Agentic Coding for Mobile and Web, Specialized in React

Apex đã chính thức ra mắt thị trường, cung cấp mô hình coding chuyên biệt cho React Native và Next.js. Công nghệ này được phát triển bởi Callstack với khả năng tự động hóa coding thông qua agentic approach. Benchmark cho thấy Apex xử lý code nhanh hơn 35% so với các phương pháp truyền thống. Bạn có thể tự host Apex hoặc sử dụng dịch vụ cloud với API pricing bắt đầu từ $0.002/token. Đáng học hỏi là cách Apex tối ưu hóa code generation cho từng framework cụ thể, giúp giảm 40% thời gian viết code cho lập trình viên React.

Lập trình viên nên đọc bài này để tìm hiểu về Apex - công cụ mã hóa tự động cho React Native và Next.js với các tùy chọn tự lưu trữ.

Agent Skills for Gradle Best Practices and Wrapper Upgrades

Plugin Agentic Gradle phiên bản 1.0.0 vừa ra mắt với các kỹ năng hỗ trợ best practices và nâng cấp wrapper cho Gradle. Plugin này phân tích cấu trúc build script để đề xuất tối ưu hóa hiệu năng và tuân thủ quy chuẩn. Nó có thể tự động phát hiện và đề xuất nâng cấp Gradle Wrapper lên phiên bản mới hơn khi có sẵn. Các tính năng này giúp giảm thiểu rủi ro khi nâng cấp và cải thiện tốc độ build một cách đáng kể. Đối với các dự án Gradle lớn, công cụ này đặc biệt hữu ích trong việc duy trì hệ thống build hiện đại và hiệu quả.

Plugin Agent Gradle mới giúp tự động hóa việc nâng cấp wrapper và áp dụng best practices cho dự án của bạn.

Agentic Skill Decay

Bối cảnh của bài viết là vấn đề các AI agents đang giải quyết nhiệm vụ mà không giúp người dùng học được kỹ năng mới. Nguyên nhân kỹ thuật là bởi các agents sử dụng các Large Language Models (LLMs) với cơ chế generation tự động, khiến quá trình học tập trở nên bị động. Hệ quả là người dùng dần mất đi khả năng tự giải quyết vấn đề khi quá phụ thuộc vào AI. Điều đáng học là việc xây dựng chuyên môn cần trở nên chủ động, thông qua việc thiết kế các systems có khả năng explainability và prompting users để suy nghĩ độc lập.

Bài viết giúp lập trình viên hiểu cách duy trì năng lực chuyên môn trong thời đại AI tự hành.

Are LLMs still surprisingly bad at some simple tasks?

Năm ngoái tác giả đã thực hiện thí nghiệm kiểm tra khả năng của các modern LLMs trong việc trả lời một câu hỏi tương đối đơn giản, nhưng tất cả đều trả sai. Các mô hình này hoặc thiếu thông tin, hoặc tạo ra các câu nói sai sự thật, không có mô hình nào đưa ra câu trả lời đúng. Nguyên nhân kỹ thuật có thể nằm ở cách mô hình xử lý thông tin và giới hạn kiến thức của chúng. Điều đáng học là ngay cả với các LLM tiên tiến như GPT-4 và Claude, vẫn tồn tại những giới hạn cơ bản trong việc trả lời các câu hỏi tưởng chừng đơn giản, đòi hỏi người dùng phải hiểu rõ năng lực và hạn chế của công nghệ này.

Bài viết tiết lộ những hạn chế đáng ngạc nhiên của các mô hình ngôn ngữ lớn (LLMs) ngay cả với các tác vụ tưởng chừng đơn giản, giúp lập trình viên có cái nhìn thực tế hơn khi ứng dụng chúng.