Đang tải bảng tin…
DevBlogs1 Hot0 bình luận5 phút đọc
Enabling MLflow OpenAI Autolog on PySpark Workers
Tóm tắt bởi AI
Khi phân phối các cuộc gọi LLM trên các worker PySpark bằng mapInPandas, MLflow's openai.autolog() không ghi lại traces do ba vấn đề: worker không kế thừa URI theo dõi và tên experiment từ driver, xuất traces bất đồng bộ gây xung đột thread khi kết thúc process, và không hỗ trợ liên kết trace cha-con. Giải pháp là thiết lập tracking URI, experiment name và tắt MLFLOW_ENABLE_ASYNC_TRACE_LOGGING=false trong hàm worker. Sau khi hoạt động, việc theo dõi từng cuộc gọi phát hiện chi phí ẩn do Spark lazy evaluation thực thi lại nhiều lần các cuộc gọi LLM.
Vì sao nên đọc: Lập trình viên muốn tối ưu hóa và theo dõi hiệu suất mô hình ML trên Spark với OpenAI, đặc biệt khi sử dụng mapInPandas, nên đọc bài này để khắc phục lỗi trace không hoạt động và khám phá cách khắc phục vấn đề tái thực hiện LLM nhiều lần do tính chất lazy evaluation của Spark.
Bạn nhớ được gì?
Trả lời 3 câu hỏi ngắn để nhận điểm thưởng cho bài này. Chỉ làm khi bạn muốn lấy điểm.
tối đa +17 điểm
3 câu hỏi · dưới một phút · không bắt buộc
Nguồn: https://devblogs.microsoft.com/ise/mlflow-autolog-pyspark-workers. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Đề xuất cho bạn
Hugging Face30 Hot11 phútAI
Why Specialization Is Inevitable
AI chuyên biệt không phải là lựa chọn mà là xu hướng tất yếu do ba nguyên lý: định lý No Free Lunch (không thuật toán tổng quát nào vượt trội trên mọi bài toán), sinh học tiến hóa (chuyên gia cạnh tranh hiệu quả hơn đa năng dưới áp lực tài nguyên), và thị trường cạnh tranh (tập trung chiến lược ưu việt hơn phân tán). Các bằng chứng từ machine learning (negative transfer, mixture-of-experts, AlphaFold) và sự phân biệt giữa domain knowledge (thay thế bởi scaling) với domain specialization (không bị loại bỏ) càng củng cố kết luận: khi nguồn lực hữu hạn và áp lực chọn lọc, sự phù hợp luôn thắng thế so với sự đa dạng.
Lập trình viên nên đọc bài này để hiểu cách AI và hệ thống máy học tự động hóa và tối ưu hóa thành công thông qua chuyên môn hóa chứ không phải sự đa dạng rộng rãi.
