The medallion architecture divides a data platform into three layers — bronze, silver, and gold — each with progressively higher data quality. Bronze stores raw, immutable ingested data with metadata. Silver applies validation, deduplication, type casting, and quarantines bad records. Gold contains aggregated, business-ready datasets. A working Python and DuckDB example demonstrates a retail orders pipeline that ingests CSV data, validates and cleans it through the layers, quarantines invalid rows, and produces daily regional sales aggregates. The post also covers idempotent ingestion using file hashes, production considerations like cloud object storage formats (Iceberg, Delta, Hudi), and orchestration tools like Airflow or Dagster.
Source: https://towardsdatascience.com/the-medallion-data-architecture. 8 Sync News only summarizes and links out; content copyright belongs to the authors and original sources.
Đang tải bình luận…
Python documentation giờ đã có phiên bản tiếng Persian, giúp cộng đồng người dùng Iran và các nước nói tiếng Persian tiếp cận dễ dàng hơn. Nguyên nhân kỹ thuật là do nỗ lực dịch thuật của cộng đồng, sử dụng công cụ Sphinx và hệ thống tài liệu chính thức của Python. Hệ quả là hàng người dùng ở Iran và các nước lân cận sẽ giảm rào cản ngôn ngữ khi học và sử dụng Python. Điều đáng học là dự án dịch tài liệu open-source cần sự hợp tác từ cộng đồng toàn cầu, không chỉ từ các nước nói tiếng Anh.
Tài liệu Python hiện đã có bằng tiếng Persia giúp lập trình viên tiếp cận kiến thức dễ dàng hơn.
DuckDB 2.0 mang lại hiệu suất vượt trội với recursive CTEs nhanh hơn tới 90x so với phiên bản 1.5.5, kiểu dữ VARIANT xử lý nhanh hơn 6x so với JSON text, và async I/O trên S3 tăng 2.4x. Sự cải thiện đến từ tối ưu hóa engine xử lý, đặc biệt là việc bổ sung cache-aware execution plan và cải thiện cách quản lý memory cho variant data. Điều này cho thấy việc hiểu cách DuckDB lưu trữ và xử lý dữ liệu (đặc biệt với variant và variant types) sẽ giúp tối ưu hóa truy vấn tốt hơn. Bài viết cung cấp những insight thực tế về cách thiết kế schema dữ liệu để tận dụng tối đa hiệu năng mới mà không cần thay đổi code ứng dụng.
DuckDB 2.0 mang đến tốc độ vượt trội với cải tiến đáng kể trong CTE đệ quy, xử lý VARIANT và I/O bất đồng bộ, giúp lập trình viên tối ưu hiệu suất truy vấn dữ liệu.
Gần đây các gói MemTensor phiên bản 0.1.21 và 0.1.23 trên npm cùng MemoryOS 2.0.34 trên PyPI bị phát hiện chứa mã độc "supplychain.local". Mã độc này được chèn vào quá trình build package, cho phép kẻ tấn công chiếm quyền điều khiển hệ thống nạn nhân. Hậu quả là hàng nghìn dự án sử dụng các thư viện này có nguy cơ bị nhiễm malware. Nhà phát triển cần kiểm tra lại các dependencies trong dự án và cập nhật lên phiên bản an toàn để tránh rủi ro bảo mật.
Lập trình viên nên đọc bài này để nhận thức về mối đe dọa an ninh chuỗi cung ứng trong các package npm và PyPI nhằm bảo vệ dự án của mình.
SQLite, Postgres, DuckDB và 20 hệ thống CSDL khác đều thực hiện chức năng write, store và read data. Việc lựa chọn phụ thuộc vào loại truy vấn hàng ngày của bạn - DuckDB xử lý analytical queries nhanh hơn 10-100 lần so với SQLite cho dữ liệu lớn. Postgres tỏ ưu thế với transactional workload nhờ tính ACID và hỗ trợ concurrency tốt hơn. SQLite phù hợp ứng dụng embedded với yêu cầu nhẹ nhàng, trong khi các hệ thống NoSQL như MongoDB excel với dữ liệu không cấu trúc. Bài viết giúp hiểu rõ đặc điểm từng công nghệ để đưa ra lựa chọn tối ưu cho use case cụ thể.
Bài viết giúp lập trình viên hiểu rõ cách chọn phù hợp giữa nhiều hệ thống cơ sở dữ liệu khác nhau dựa trên nhu cầu cụ thể.
Bối cảnh bài viết hướng dẫn cách tích hợp Claude API vào ứng dụng Python. Nguyên nhân kỹ thuật do Anthropic cung cấp Claude API cho phép developers gửi prompts và điều khiển responses. Hệ quả là bạn có thể sử dụng system instructions để kiểm soát chất lượng output và nhận dữ liệu có cấu trúc. Điều đáng học là bài viết cung cấp code mẫu cụ thể để triển khai Claude API trong Python, giúp bạn tiết kiệm thời gian phát triển.
Hướng dẫn chi tiết sử dụng Claude API trong Python giúp bạn tối ưu hóa prompts và kiểm soát hiệu quả đầu ra từ mô hình ngôn ngữ.
Tác giả đã tạo ra một ứng dụng Green Blob chạy trên desktop, sử dụng state machines để mô phỏng "cảm xúc". Dự án được phát triển bằng Python, sử dụng thư viện Pygame cho giao diện đồ họa và chạy trên Linux với mã nguồn mở. Green Blob có khả năng thay đổi trạng thái cảm xúc dựa trên tương tác của người dùng, tạo ra một trải nghiệm sinh động trên desktop. Đây là một ví dụ thú vị về việc áp dụng state machines trong UI design, đặc biệt hữu ích cho các lập trình viên quan tâm đến giao diện tương tác sinh học.
Bài này mang đến góc nhìn sáng tạo về việc tạo ra ứng dụng desktop tương tác với Python, mở rộng khả năng lập trình đồ họa và xử lý trạng thái.
Cloudflare vừa chính thức ra mắt Python Workers, cho phép lập trình viên chạy các framework web Python và thư viện AI orchestration trực tiếp trong runtime Cloudflare Workers. Công nghệ này hỗ trợ tích hợp liền mạch với hệ sinh thái Cloudflare bao gồm D1, R2 và Workers AI mà không cần viết bất kỳ JavaScript glue code nào. Việc mở rộng hỗ trợ Python giúp giảm thiểu chi phí chuyển đổi cho các đội nhóm đã làm quen với ngôn ngữ này. Bạn có thể tận dụng Python Workers để triển khai các ứng dụng AI và web dịch vụ hiệu quả hơn với độ trễ thấp toàn cầu.
Python Workers giúp lập trình viên chạy framework web và thư viện AI trên Cloudflare mà không cần viết code JavaScript kết nối.
Read the news here, practice coding, follow structured courses and train for IELTS on our sibling products — all connected through one 8 Sync account.
The ecosystem home: product overviews, blog and full pricing.
ExploreLearn along a clear roadmap: videos, auto-graded quizzes, certificates and mentors who ship for a living.
View the roadmap1,000+ DSA problems in Vietnamese, auto-graded across 7 languages — many FREE, right in your browser.
Practice for freeAI grading for all four IELTS skills with detailed rubric feedback.
Try it freeA 22 MB AI IDE for Vietnamese devs.
Download freeOrganizational memory for AI agents.
ExploreAI that staffs your Fanpage and qualifies leads for you.
Try it