LLMs and SQL

Addy Osmani88 Hot15 min2 d agoAITop

Practical Loop Engineering

Các kỹ sư thường sử dụng vòng lặp để tự động hoá việc đạt mục tiêu, nhưng khi không kiểm …

The New Stack2 Hot4 min5 h agoAI

Tokenmaxxing is out. How to minimize AI spend without sacrificing security capability.

Bối cảnh: Chi phí chạy mô hình AI lớn để thực hiện các tác vụ bảo mật đang tăng nhanh do tiêu thụ token cao. Nguyên nhân kỹ thuật: Khi tất cả các yêu cầu đều được gửi tới mô hình mạnh nhất, lượng token đầu vào và đầu ra tăng không cần thiết, gây ra chi phí không hiệu quả. Hệ quả: Áp dụng mô hình funnel phân cấp – sử dụng mô hình nhẹ cho các truy vấn đơn giản và giữ mô hình mạnh chỉ cho các trường hợp phức tạp – kết hợp với kỹ thuật thiết kế prompt thông minh giúp giảm lượng token tiêu thụ đáng kể mà không làm giảm khả năng phát hiện đe dọa. Điều đáng học: Đội ngũ bảo mật nên xây dựng quy trình định tuyến mô hình dựa trên độ khó của prompt và đầu tư vào tối ưu prompt để tối ưu chi phí AI mà vẫn duy trì mức độ bảo vệ cần thiết.

Bài viết này giúp bạn tiết kiệm chi phí AI an ninh mà vẫn duy trì hiệu năng bảo mật tối ưu.

#security #llm #prompt-engineering Source

ClickHouse1 Hot22 min9 h agoAI

ClickGap: Autonomous QA for ClickHouse

Bối cảnh: Khi ClickHouse tiếp tục nhận hàng loạt pull request từ cộng đồng, việc đảm bảo chất lượng sau mỗi merge trở thành thách thức lớn. Nguyên nhân kỹ thuật: ClickGap được thiết kế để tự động xem xét các thay đổi đã được merge, chạy lại các test reproducer liên quan và lọc ra các false positive. Hệ quả: Nhờ đó, công cụ có thể xác định chính xác commit nào gây ra hồi quy, giảm đáng kể thời gian debug và tránh việc bỏ lỡ lỗi thực. Điều đáng học: Việc kết hợp phân tích mã thay đổi với thực thi reproducer tự động cho thấy một mô hình QA độc lập có thể mở rộng cho các hệ thống CSDL nguồn mở khác. Kết luận: ClickGap minh họa cách tự động hóa quy trình kiểm tra sau merge không chỉ tăng độ tin cậy mà còn tối ưu hóa quy trình phát hành phần mềm.

ClickGap giúp tự động hóa QA cho ClickHouse bằng cách phát hiện và gán lỗi cụ thể cho từng commit, tiết kiệm thời gian và nâng cao chất lượng codebase.

#llm #testing #ai-agent Source

Hugging Face1 Hot8 min9 h agoAI

Quantization-Aware Healing: a compressed, 4-bit model that outperforms its full-precision original

Bài viết giới thiệu phương pháp Quantization‑Aware Healing (QAH) được phát triển bởi Multiverse Computing để nén mô hình ngôn ngữ lớn xuống 4‑bit mà không làm giảm hiệu suất. QAH kết hợp quantization‑aware training với một bước healing sau huấn luyện, trong đó một mạng phụ nhỏ được học để bù lại sai số lượng tử hóa gây ra. Kết quả cho thấy mô hình 4‑bit sau healing đạt được mức perplexity tương đương, và trong một số trường hợp thậm chí tốt hơn so với phiên bản full‑precision (32‑bit) ban đầu. Việc này đồng thời giảm kích thước bộ nhớ cần thiết xuống khoảng 1⁄8 (≈87,5%) và tăng tốc độ suy luận trên phần cứng hỗ trợ tính toán nguyên số. Điều đáng học là việc đầu tư vào quá trình healing có thể bù lại phần lớn tổn thất từ quantization, cho phép triển khai mô hình mạnh mẽ trên môi trường tài nguyên hạn chế mà không hy sinh chất lượng.

Bài viết này giúp lập trình viên hiểu cách tạo mô hình lượng hóa 4-bit hiệu suất hơn cả mô hình full-precision gốc.

#machine-learning #data-science #llm Source

LangChain1 Hot5 min3 h agoAI

LangSmith Engine Improves Agent Issue Detection by 2x

LangSmith Engine là công cụ giám sát và phân tích hành vi của AI agents trong môi trường sản xuất. Bản cập nhật mới đã nâng cấp mô hình phát hiện lỗi bằng cách tích hợp các heuristic mới và cải thiện pipeline phân tích log, từ đó tăng khả năng xác định vấn đề gấp đôi so với phiên bản trước. Kết quả là công cụ không chỉ phát hiện vấn đề chính xác hơn 2 lần mà còn đưa ra các bản vá mạnh mẽ hơn, đồng thời hỗ trợ thông báo tự động qua Slack và tạo ticket trong Linear. Ngoài ra, phiên bản này có thể triển khai tự-hosted, cho phép zespoл kiểm soát dữ liệu bên trong VPC hoặc trung tâm dữ liệu riêng. Điều này cho thấy việc đầu tư vào cải thiện thuật toán phát hiện và tích hợp workflow là chìa khóa để nâng cao độ tin cậy của hệ thống agent trong sản xuất.

LangSmith Engine cải thiện đáng kể khả năng phát hiện và khắc phục sự cố cho agent, đồng thời hỗ trợ nhiều nền tảng triển khai linh hoạt.

#ai-agent #observability #langchain Source

GitHub Blog2 Hot10 min1 d agoAI

Your alt text passes automated checks. That doesn’t mean it’s any good.

Nhiều công cụ tự động kiểm tra accessibility chỉ xác định xem thuộc tính alt có tồn tại hay không, nên chúng thường báo “pass” ngay cả khi mô tả không ý nghĩa. Để khắc phục hạn chế này, nhóm phát triển đã tạo một plugin cho GitHub Accessibility Scanner mà thực hiện phân tích ngữ cảnh và độ dài của alt text, đồng thời đánh giá mức độ mô tả dựa trên heuristic như từ khóa liên quan và tránh lặp lại tên file. Plugin này sẽ đánh dấu các trường hợp alt text quá ngắn (dưới 5 ký tự), quá chung chung (ví dụ “image” hoặc “picture”) hoặc chứa từ ngữ không liên quan, giúp nhà phát hiện lỗi trước khi code được merge. Khi tích hợp vào workflow CI, plugin sẽ làm giảm tỷ lệ lỗi accessibility liên quan đến alt text xuống khoảng 30% so với chỉ dựa vào các quy tắc tự động cơ bản. Bài học là: tự động kiểm tra là bước đầu tiên, nhưng cần bổ sung bằng các quy tắc ngữ cảnh và審閱 con người để đảm bảo alt text thực sự hữu ích cho người dùng screen reader.

Đây giải thích tại sao alt text đạt kiểm tra tự động không đồng nghĩa với nó thực sự hiệu quả và dễ truy cập.

#webdev #llm #github Source

stitcher.io5 Hot2 min1 d agoAI

"A" for "Average"

Bài viết bắt đầu từ quan sát rằng nhiều lập trình viên cảm thấy ngạc nhiên khi thấy AI tạo ra mã trong ngôn ngữ họ không quen thuộc. Tác giả chỉ ra rằng phản ứng này phản ánh nhiều hơn sự thiếu hiểu biết của người đọc về lĩnh vực đó hơn là khả năng thực sự của mô hình. Nguyên nhân kỹ thuật là LLMs sinh ra token bằng cách chọn xác suất cao nhất tiếp theo, vì vậy đầu ra luôn là giá trị trung bình thống kê, không phải xuất sắc. Do đó, sự ngưỡng mộ ở ngôn ngữ lạ tương tự như bị lừa bởi một trò ma thuật mà không biết nguyên lý, trong khi cùng mức chất lượng trong ngôn ngữ quen thuộc chỉ được đánh giá là đủ. Bài học là trước khi khen ngợi mã AI, cần kiểm tra kiến thức własn của mình và hiểu rằng "trung bình" là đặc điểm thiết kế của mô hình, không phải dấu hiệu của sự vượt trội.

Bài viết giúp bạn hiểu thực chất chất lượng trung bình của AI và tránh đánh giá sai năng lực công nghệ.

#ai #llm #ai-coding Source

Tech Lead Digest3 Hot5 min1 d agoAI

OpenRouter is Joining Stripe — OpenRouter Blog

OpenRouter vừa công bố sẽ trở thành một phần của Stripe, giữ nguyên tên, sứ mệnh và sản phẩm hiện tại. Quyết định này dựa trên việc tận dụng hạ tầng thanh toán và khả năng mở rộng toàn cầu của Stripe để cải thiện độ tin cậy và hiệu suất của dịch vụ định tuyến mô hình AI. Với sự hỗ trợ này, OpenRouter cam kết giữ nguyên lộ trình phát triển và cơ chế định tuyến dựa trên nhu cầu người dùng, không thay đổi giá cả hoặc API. Người dùng sẽ tiếp tục trải nghiệm cùng một giao diện và tính năng, đồng thời nhận được lợi ích từ sự ổn định và tốc độ xử lý cao hơn của nền tảng Stripe. Bài học từ hợp tác này là khi một startup muốn mở rộng quy mô mà không làm thay đổi bản chất sản phẩm, việc kết nối với một đối tác có hạ tầng vững chắc là chiến lược hiệu quả.

Tìm hiểu sự hợp tác giữa OpenRouter và Stripe sẽ giúp bạn hiểu rõ hơn về các định hướng phát triển và tính năng mới của nền tảng xử lý thanh toán API.

#llm #business #stripe Source

LLMs and SQL

Recommended for you

Practical Loop Engineering

Bình luận

Tokenmaxxing is out. How to minimize AI spend without sacrificing security capability.

ClickGap: Autonomous QA for ClickHouse

Quantization-Aware Healing: a compressed, 4-bit model that outperforms its full-precision original

LangSmith Engine Improves Agent Issue Detection by 2x

Your alt text passes automated checks. That doesn’t mean it’s any good.

"A" for "Average"

OpenRouter is Joining Stripe — OpenRouter Blog

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads