#feature-engineering

F3 Lightning: How Meta Accelerates Ads ML Features to Production at Scale

Meta built F3 Lightning to let individual ML features ship independently instead of as one giant merged release. The original F3 framework compiled features into a single merged graph to share computation, but that meant one bad feature definition blocked every release. F3 Lightning decouples releases from execution using stable computation identifiers, a single shared execution plan, one shared memory buffer, and dense index mapping. The result: comparable features reach production about 3.6x faster, with no added infrastructure compute cost.

Putting a Transformer Inside Every Card Authorization

Ramp triển khai Transformer trong hệ thống authorization thẻ tín dụng để phân tích các giao dịch trước đó trong thời gian thực. Mô hình mới đánh giá gian lận tốt hơn 14% so với phiên bản tiền nhiệm và bắt được 32% số tiền gian lận hơn trong khi vẫn giữ nguyên số lượng giao dịch bị đánh dấu. Công nghệ Transformer này xử lý dữ liệu giao dịch phức tạp hơn các mô hình trước, giúp nhận diện các pattern gian lận tinh vi hơn. Với hiệu quả rõ ràng như vậy, việc áp dụng deep learning models như Transformer trong lĩnh vực fintech đang trở thành xu hướng tất yếu để nâng cao khả năng phòng chống gian lận.

Bài viết này cho thấy cách mô hình Transformer giúp phát hiện gian lận thẻ tín dụng hiệu quả hơn 14% so với các phương pháp trước đây.

Bag of Words (BoW) and TF-IDF

Bag of Words (BoW) và TF-IDF là hai kỹ thuật cơ bản trong xử lý ngôn ngữ tự nhiên, giúp biến văn bản thành vector số để máy hiểu được. BoW đơn giản đếm tần suất xuất hiện của từ trong mỗi tài liệu, trong khi TF-IDF kết hợp tần suất từ (TF) với nghịch tần suất tài liệu (IDF) để nhấn mạnh từ quan trọng hơn. Việc chuẩn bị dữ liệu văn bản đúng cách với BoW hay TF-IDF giúp model machine learning không bị ảnh hưởng bởi các từ phổ biến mà tập trung vào từ mang nhiều thông tin. Các lập trình viên nên lưu ý rằng BoW có thể dẫn đến vector thưa, trong khi TF-IDF giúp giảm trọng số của các từ xuất hiện nhiều trong nhiều tài liệu như "và", "là".

Bài viết này giải thích cách Bag of Words và TF-IDF giúp xử lý dữ liệu văn bản hiệu quả cho mô hình học máy.