Old Rover Data Reveals Vast Water Amounts on Mars

freeCodeCamp2 Hot32 min5 d agoAI

How to Detect Hidden Target Leakage in Public Datasets with Python and a Dependency Graph

Các tập dữ liệu công cộng như CDC dataset đôi khi chứa hidden target leakage khiến mô hình học máy đạt điểm số không thực tế. Tác giả đã phát hiện vấn đề khi mô hình dự đoán cột dữ liệu thứ sáu với R² lên đến 0.998 bất thường. Python cùng dependency graph là công cụ hữu hiệu để vạch ra mối quan hệ ẩn giữa các features và target variable. Bài viết hướng dẫn cách xây dựng dependency graph để phát hiện và loại bỏ leakage, giúp tránh overfitting trong production model.

Bài viết này giúp phát hiện rò rỉ mục tiêu ẩn trong bộ dữ liệu công khai bằng Python và đồ thị phụ thuộc để tránh tạo ra các mô hình machine learning giả tạo.

#machine-learning #python #data-analysis Source

TechCentral1 Hot4 min25 d agoAI

Nasa launches telescope that will map two billion galaxies

NASA vừa phóng thành công Roman Space Telescope từ trung tâm Kennedy ở Florida, bắt đầu nhiệm vụ khảo sát vũ trụ rộng lớn. Kính thiên văn này wyposaż bằng Wide Field Instrument có trường nhìn 0,28 độ vuông và bộ cảm biến infrared, cho phép quét lên tới hai tỷ galaxie trong ánh sáng near‑infrared. Dữ liệu thu được sẽ được dùng để đo lường sự phân tán của galaxie và suy ra đặc tính của năng lượng tối và vật chất tối. Kết quả missione này có thể cung cấp bằng chứng mới về bản chất của thành phần chiếm 95% vũ trụ, giúp kiểm định hoặc thay đổi các mô hình cosmology hiện tại. Đáng học là việc đầu tư vào thiết bị trường nhìn rộng và cảm biến độ nhạy cao mở ra khả năng khảo sát thống kê lớn, một hướng đi cần thiết để giải quyết các vấn đề cơ bản về vật chất tối và năng lượng tối.

Việc đọc bài này giúp lập trình viên nắm bắt công nghệ xử lý dữ liệu thiên văn quy mô lớn từ dự án kính viễn không Roman của NASA.

#spacex #nasa #astrophysics Source

databricks1 Hot7 min22 d agoAI

Expanding Genie Agents: Deep analysis, file reasoning, and more

Bài viết mô tả vì sao các agent Genie ban đầu chỉ xử lý được truy vấn ngắn và không thể làm việc với nội dung tệp tin phức tạp. Tác giả giải thích cách họ mở rộng hệ thống bằng cách tích hợp một mô-đun phân tích sâu dựa trên transformer lớn và một bộ reasoning file sử dụng truy xuất vector cùng chuỗi suy luận từng bước để đọc, trích xuất và tổng hợp thông tin từ các tài liệu dạng text, PDF và code. Sau khi triển khai, agent mớiแสดง khả năng trả lời đúng và sửa lỗi mã nguồn tốt hơn đáng kể trên các bộ dữ liệu nội bộ so với phiên bản trước đó. Những cải tiến này cho thấy việc tách biệt các khả năng phân tích và reasoning file giúp giảm số lần gọi mô hình và tăng độ tin cậy khi xử lý tác vụ đa bước. Bài viết kết luận rằng thiết kế mô-đun có thể thay đổi và mở rộng là yếu tố then chốt để phát triển hệ thống agent linh hoạt mà không cần xây dựng lại từ đầu.

Bài viết này cung cấp phân tích sâu về công nghệ Genie Agents và khả năng lý luận tệp giúp lập trình viên nâng cao kỹ năng phát triển hệ thống AI phức tạp.

#ai-agent #data-analysis #rag Source

freeCodeCamp1 Hot16 min1 mo agoAI

What Happens to a Medical Image Before and After a Model Sees It

Bài viết bắt đầu bằng việc giải thích tại sao các bước tiền xử lý hình ảnh y tế như đọc DICOM, điều chỉnh cửa sổ Hounsfield và resampling voxel là không thể bỏ qua trước khi đưa vào mô hình học sâu. Nó mô tả chi tiết cách các thư viện như SimpleITK và MONAI được dùng để chuyển đổi không gian ảnh về kích thước đồng nhất (ví dụ 1 mm³) và chuẩn hóa intensity bằng Z‑score hoặc histogram matching để giảm sự khác biệt giữa các bộ quét. Sau khi mô hình (thường là một mạng CNN 3D hoặc Transformer được huấn luyện trên PyTorch) xử lý ảnh, bài viết phân tích các bước hậu xử lý như ngưỡng xác suất, ánh xạ nhãn lại về không gian gốc và tính toán chỉ số Dice hoặc AUC để đánh giá hiệu suất. Các thí nghiệm được báo cáo cho thấy việc bỏ qua bước resampling có thể làm giảm Dice score xuống 15 % trong phân đoạn u não, trong khi sử dụng chuẩn hóa intensity tăng AUC lên 0.92 so với 0.84 khi không chuẩn hóa. Bài kết xuất rằng các nhà phát triển cần xem tiền xử lý không phải là bước “boilerplate” mà là một phần thiết yếu của pipeline, và việc ghi lại chính xác các tham số (kích thước voxel, giá trị Hounsfield window, phương pháp chuẩn hóa) là điều cần thiết để tái tạo kết quả và so sánh công bằng giữa các nghiên cứu.

Bài viết giải thích chi tiết quá trình tiền xử lý ảnh y tế, yếu tố quyết định hiệu suất của các mô hình học máy trong lĩnh vực chuyên biệt này.

#machine-learning #data-analysis Source

dltHub1 Hot8 min1 mo agoAI

Transformations that know their context

dlthub cung cấp hai cách chạy transformations: sử dụng dự án dbt có sẵn hoặc transformations native của dlthub. Bài viết so sánh sự khác biệt giữa hai phương pháp này cho người thực hành và nhà ra quyết định kỹ thuật.

Một lập trình viên cần hiểu cách dlthub cung cấp hai cách thực hiện biến đổi dữ liệu (từ dự án dbt cá nhân hoặc biến đổi bản địa của dlthub) để quyết định lựa chọn phương pháp phù hợp với quy mô, tính linh hoạt và chi phí của dự án mình.

#backend #data-analysis Source

Towards Data Science0 Hot25 min1 mo agoAI

Jigsaw Jeeves: Building a Puzzle Assistant using Computer Vision

Bài viết hướng dẫn xây dựng trợ lý giải câu đố ghép hình bằng kỹ thuật thị giác máy tính (computer vision) trong Python, sử dụng histogram màu 512-bin kết hợp mật độ cạnh Canny để trích xuất đặc trưng 513 chiều cho từng mảnh ghép. Giải thuật kết hợp cosine similarity và thuật toán Hungary (qua SciPy's linear_sum_assignment) để tìm lời giải tối ưu, đồng thời phân tích hạn chế như nhầm lẫn vùng đồng màu, độ phức tạp O(n³) và đề xuất cải tiến như FAISS, lưới đa cấp độ hay CLIP embeddings.

Nếu bạn muốn tự động hóa giải quyết các bài toán tìm kiếm phức tạp về vị trí các mảnh trong jigsaw puzzle bằng cách kết hợp kiến thức về xử lý hình ảnh và tối ưu hóa, bài viết này sẽ cung cấp một hướng dẫn chi tiết từ cơ bản đến nâng cao, giúp bạn hiểu cách áp dụng các thuật toán như tính tương đồng cosin và giải thuật Hungarian một cách hiệu quả.

#python #data-analysis #computer-vision Source

Snowflake0 Hot8 min1 mo agoAI

Observability at Scale: Whatnot at Snowflake Summit

Whatnot đã ứng dụng observability, AI analytics và real-time monitoring trên nền tảng Snowflake để hỗ trợ tăng trưởng nhanh chóng và ra quyết định nhanh hơn.

Lập trình viên nên đọc bài này để hiểu cách kết hợp Snowflake với các công cụ observability và AI để tối ưu hóa quy trình phát triển, debug nhanh chóng và tối đa hóa hiệu suất cho ứng dụng ở quy mô lớn.

#data-analysis #observability #big-data Source

Ars Technica0 Hot2 min1 mo agoAI

We’ve flown a radiation-blocking vest to the Moon and back, and it worked

Chúng tôi đã thử nghiệm thành công một chiếc áo chống bức xạ (AstroRad) trên chuyến bay lên Mặt Trăng và trở về, thay vì bảo vệ toàn bộ tàu vũ trụ.

Lập trình viên nên đọc bài này để hiểu cách ứng dụng vật lý và công nghệ vật liệu mới trong giải quyết vấn đề bảo vệ sinh lý người trong không gian, giúp mở rộng tầm nhìn về cách thiết kế hệ thống bảo vệ sinh lý cho các ứng dụng tương lai trên vũ trụ.

#nasa Source

Old Rover Data Reveals Vast Water Amounts on Mars

What do you remember?

Recommended for you

Bình luận

How to Detect Hidden Target Leakage in Public Datasets with Python and a Dependency Graph

Nasa launches telescope that will map two billion galaxies

Expanding Genie Agents: Deep analysis, file reasoning, and more

What Happens to a Medical Image Before and After a Model Sees It

Transformations that know their context

Jigsaw Jeeves: Building a Puzzle Assistant using Computer Vision

Observability at Scale: Whatnot at Snowflake Summit

We’ve flown a radiation-blocking vest to the Moon and back, and it worked

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads