GKE CPU startup boost: Faster pod starts, lower costs

Architecting with LLMs: use plain old code when you can, LLMs when you must

Khi thiết kế hệ thống với LLM, hãy sử dụng plain old code (POC) cho các tính năng có thể định nghĩa chính xác, và dành LLM cho những nhiệm vụ cần phán đoán, diễn giải hoặc xử lý đầu vào mơ hồ. Khung kiến trúc này áp dụng phép phân tích chức năng đệ quy để chia hệ thống thành các trách nhiệm riêng biệt, sau đó phân loại từng trách nhiệm thuộc về POC hay LLM, như minh họa trong workflow coding-agent 'implement plan'. LLM nên được đặt tại ranh giới hệ thống để xử lý đầu vào không có cấu trúc, và cần cung cấp cho chúng các công cụ POC như Gradle, Git để tương tác với thế giới thực. Khi hiểu biết về vấn đề ngày càng sâu sắc, ta cần xem xét và chuyển đổi lựa chọn triển khai giữa POC và LLM.

Bài này giúp lập trình viên hiểu cách phân bổ trách nhiệm hệ thống giữa code truyền thống và LLM dựa trên tính chất cụ thể của từng nhiệm vụ.